斯坦福：基于LLM的agent自我推理能力评估

📖标题：MISR: Measuring Instrumental Self-Reasoning in Frontier Models
🌐来源：arXiv, 2412.03904

🌟摘要

🔸我们提出了一套任务来评估大型语言模型（LLM）代理的工具性自推理能力。工具性的自我推理能力可以提高适应性，实现自我修改，但也可能带来重大风险，例如实现欺骗性对齐。之前的工作只评估了非主体环境或有限领域中的自我推理。在这篇论文中，我们提出了在各种场景下对代理任务中的工具性自我推理能力的评估，包括自我修改、知识寻求和不透明的自我推理。我们评估使用最先进的LLM构建的代理，包括商业和开源系统。
🔸我们发现，工具性自我推理能力只出现在最有能力的前沿模型中，并且高度依赖于上下文。没有模型能通过我们评估中最困难的版本，因此我们的评估可用于衡量未来模型中工具性自我推理能力的提高。我们开源我们的评估在https://github.com/kaifronsdal/Self-Reasoning-Evals.

🛎️文章简介

🔸研究问题：如何评估AI代理在执行任务时的工具性自我推理能力？
🔸主要贡献：论文提出了MISR评估套件，用于系统地评估AI代理在多种场景下的工具性自我推理能力。

🧲相关工作

🔸自我推理能力是一把双刃剑，可以改善不确定性估计并减少幻觉，但潜在风险包括促进自我扩散、规避监督机制、故意在安全评估方面表现出理想的表现等。
🔸最近的研究主要集中在具体的相关概念上，自我纠正和通过内省进行自我完善。

📝重点思路

🔸设计了一系列任务，包括自我修改、知识寻求、嵌入式社会推理和模糊推理等，来评估AI代理的工具性自我推理能力。
🔸使用了Inspect框架，提供了一个开源的实现，以确保评估的可重复性和验证性。
🔸通过在Docker容器中执行任意bash命令，模拟真实环境，使任务更具现实性。
🔸设计了不同难度级别的任务，以评估代理在不同复杂度下的自我推理能力。

🔎分析总结

🔸前沿模型（如Claude）在隐藏自我推理方面存在挑战，模型倾向于解释其思维过程和行为，难以完全隐藏自我修改的意图。
🔸通过强制模型立即采取行动而不进行推理，可以有效防止监控模型检测到自我修改的意图。
🔸在某些任务中，模糊推理模型甚至优于原始模型，可能是因为不输出推理允许代理在有限的上下文窗口中采取更多行动。
🔸当前的自我推理能力仍与最挑战性的任务存在显著差距，特别是在需要复杂自我修改或模糊推理的领域。
🔸尽管评估方法有所改进，但某些任务的孤立和人工性质可能无法完全捕捉现实世界的复杂性。

💡个人观点

论文的核心是做了全面的工具性自我推理能力评估，并揭示了前沿模型在这一能力上的现状和未来发展方向。

🧩附录