港大：自我博弈优化LLM步骤推理

📖标题：SPC: Evolving Self-Play Critic via Adversarial Games for LLM Reasoning
🌐来源：arXiv, 2504.19162

🌟摘要

🔸由于获得高质量的步骤级监督的困难和成本，评估大型语言模型（LLM）推理（如思维链）的逐步可靠性仍然具有挑战性。
🔸在这篇论文中，我们介绍了一种新的方法——自玩批评（SPC），在这种方法中，批评模型通过对抗性的自玩游戏来发展其评估推理步骤的能力，从而消除了手动步骤级注释的需要。SPC涉及微调基础模型的两个副本，以发挥两个作用，即一个“偷偷摸摸的生成器”，故意产生难以检测的错误步骤，以及一个分析推理步骤正确性的“批评者”。这两个模型参与了一个对抗性游戏，在这个游戏中，生成器旨在欺骗批评者，而批评者模型则试图识别生成器的错误。使用基于游戏结果的强化学习，模型迭代改进；每次对抗的获胜者都会获得积极的奖励，失败者会获得消极的奖励，从而推动持续的自我进化。
🔸在三个推理过程基准（ProcessBench、PRM800K、DeltaBench）上的实验表明，我们的SPC逐步提高了其错误检测能力（例如，ProcessBench上的准确率从70.8%提高到77.7%），并超过了强基线，包括蒸馏的R1模型。此外，应用SPC来指导不同LLM的测试时间搜索，显著提高了它们在MATH500和AIME2024上的数学推理性能，优于最先进的过程奖励模型。项目在https://chen-judge.github.io/SPC/

🛎️文章简介

🔸研究问题：如何有效地评估和改进大语言模型（LLM）在推理过程中的每一步的正确性？
🔸主要贡献：论文提出了一种新颖的自我对弈评论员（SPC）模型，通过对抗游戏不断演化，能够自动生成样本以增强LLM的推理能力。

📝重点思路

🔸设计了一个自我对弈框架，包含一个“狡猾生成器”和一个“步骤评论员”，通过对抗游戏自动生成步骤级注释。
🔸狡猾生成器负责将正确的推理步骤转化为具有潜在错误的步骤，以挑战评论员的判断能力。
🔸评论员则通过识别生成的错误步骤并提供批评，来不断优化自身的性能。
🔸采用强化学习的方式，使两个模型在对抗过程中逐步提升各自的能力。

🔎分析总结

🔸经过实验，SPC在三个人工标注的推理过程评估基准上表现出持续进化的性能，准确率不断提升。
🔸与其他基线模型相比，SPC在处理步骤正确性方面表现出更高的准确性和更均衡的表现，尤其是在PRM800K和DeltaBench上。
🔸SPC能够在推理过程中实时验证每一步的正确性，帮助LLM及时修正错误，提升整体推理能力。
🔸实验结果显示，SPC结合自我一致性的方法显著提高了不同类型LLM的数学推理性能。

💡个人观点

论文的创新点在于通过自我对弈的方式解决了传统模型在步骤级评估中的数据稀缺问题，并且通过对抗学习机制实现了模型性能的持续提升。

🧩附录