UNC：外部奖励优化LLM的agent推理

📖标题：MAgICoRe: Multi-Agent, Iterative, Coarse-to-Fine Refinement for Reasoning
🌐来源：arXiv, 2409.12147

摘要

🔸大型语言模型（LLM）的推理可以通过测试时聚合策略来改善，即生成多个样本并在生成的样本中进行投票。虽然这些策略可以提高性能，但它们通常会达到饱和点。细化提供了一种替代方法，即使用LLM生成的反馈来提高解决方案的质量。然而，细化引入了三个关键挑战：（1）过度细化：均匀细化所有实例可能会过度纠正并降低总体性能。（2）无法定位和解决错误：LLM的自我纠正能力有限，难以识别和纠正自己的错误。（3）细化不足：决定需要多少次细化迭代是不容易的，过早停止可能会导致错误未被解决。
🔸为了解决这些问题，我们提出了MAgICoRe，通过将问题难度分类为简单或困难，使用粗粒度聚合解决简单问题，使用细粒度和迭代的多智能体细化解决困难问题，从而避免过度细化。为了改善错误定位，我们结合外部逐步奖励模型（RM）分数。此外，为了确保有效的细化，我们采用了三个智能体的多智能体循环：求解器，评审员（根据逐步RM分数生成有针对性的反馈），和细化器（整合反馈）。为了确保足够的细化，我们重新评估更新的解决方案，迭代地启动进一步的细化轮次。
🔸我们在Llama-3-8B和GPT-3.5上评估了MAgICoRe，并展示了其在5个数学数据集上的有效性。即使进行一次MAgICoRe迭代，也比Self-Consistency高出3.4％，比Best-of-k高出3.2％，比Self-Refine高出4.0％，同时使用不到一半的样本。与基线的迭代细化不同，MAgICoRe随着更多迭代而不断改进。最后，我们的消融实验突出了MAgICoRe的RM和多智能体通信的重要性。

🛎️文章简介

🔸研究问题：大语言模型（LLM）在多步骤推理中难以准确定位和纠正错误，存在过度或不足的细化处理。
🔸主要贡献：论文提出了一个名为MAGICORE的框架，通过多代理系统、外部奖励模型和迭代精炼过程来提升推理任务的准确性和效率。

📝重点思路

🔺相关工作

🔸聚合改进推理：自我一致性（SC）生成推理链以获得答案集群，选择最常出现的答案作为最终预测，但为每个样本生成k个解决方案，成本高昂且不是最理想的容易饱和。
🔸基于LLM的验证和改进：过去的工作主要使用RM进行验证，另一些工作建议使用LLM本身作为验证者，但被质疑“自我评估”能力。
🔸基于LLM的多代理系统：探索如何在多代理系统中使用LLM，涉及代理的交互、协作和竞争，部分研究聚焦结构化辩论以细化和改进先前生成的方案。

🔺论文方案

🔸生成答案集群：使用LLM生成多个推理链，并使用外部奖励模型（全局奖励模型ORM和局部奖励模型PRM）对这些推理链进行评分。
🔸问题难度分类：根据评分结果将问题分类为简单或困难，对简单问题采用粗粒度聚合，对复杂问题采用细粒度、迭代的多代理细化。
🔸复杂问题改进：利用局部奖励模型的评分来帮助LLM定位可能错误的步骤，并提出一个由Solver、Reviewer和Refiner组成的多代理系统，分别负责生成初始解决方案、提供有针对性的反馈和改进解决方案。
🔸迭代优化：通过迭代审查-精炼过程，根据每次迭代后的最终答案质量和熵值来决定是否停止迭代。

🔎分析总结

🔸引入外部奖励模型进行精炼是必要的，因为仅依赖LLM自身难以确定何时需要精炼，而经过训练的外部奖励模型在这方面表现更有效。
🔸选择性细化不仅避免了过度纠正，还通过有效分配更多资源给更难的问题，提高了整体性能。
🔸使用步骤评分来指导整个精炼过程的反馈，能够显著提高性能。
🔸多代理系统中Reviewer和Refiner之间的通信进一步提升了精炼效果。

💡个人观点

论文的核心是通过外部奖励选择性的细化推理，通过多代理设置和迭代反馈机制提高性能。

附录