HKUST：LLM推理过程的探索与利用

📖标题：B-STaR: Monitoring and Balancing Exploration and Exploitation in Self-Taught Reasoners
🌐来源：arXiv, 2412.17256

🌟摘要

🔸在缺乏用于复杂推理任务的大量人类注释数据的情况下，自我改进（模型根据自己的输出进行训练）已成为提高性能的主要方法。最近，通过迭代训练，自我提升的方法已经转向了一种更具活力的在线时尚。然而，这些迭代自改进方法机制的关键因素仍然知之甚少，例如在什么条件下自我改进是有效的，以及当前迭代中的瓶颈是什么。
🔸在这项工作中，我们确定并提出了监测这一迭代过程中两个关键因素的方法：（1）模型产生足够多样化响应的能力（探索）；以及（2）外部奖励在区分高质量候选人和低质量候选人（剥削）方面的有效性。这些因素在整个迭代过程中本质上是动态的，但之前的研究很少讨论它们的演变——这就不清楚为什么模型在几次迭代后就会停滞不前。使用数学推理作为案例研究，我们从定量分析开始，跟踪探索和开发的动态，发现模型的探索能力在迭代过程中迅速恶化，开发外部奖励的有效性也会降低。受这些发现的启发，我们引入了B-STAR，这是一种自学推理框架，可以在迭代过程中自主调整配置，以平衡探索和开发，从而根据当前的策略模型和可用的奖励优化自我改进的有效性。
🔸我们在数学推理、编码和常识推理方面的实验表明，B-STAR不仅在整个训练过程中增强了模型的探索能力，而且在探索和开发之间实现了更有效的平衡，从而带来了卓越的性能。至关重要的是，这项工作解构了自训练算法的不透明性，为其动态提供了可解释的见解，并突出了当前的局限性，以指导未来的研究。

🛎️文章简介

🔸研究问题：在自我改进过程中如何动态监控和平衡探索与利用，以优化模型在推理任务中的表现？
🔸主要贡献：论文提出了B-STAR方法，通过动态调整探索与利用的配置，显著提升了模型在数学问题解决、编码挑战和常识推理任务中的性能。

📝重点思路

🔸初始化：给定一个预训练模型P0和训练集D，模型在初始数据集D上进行微调。
🔸迭代改进：每个迭代包括三个关键步骤，分别是生成响应、选择高质量响应、更新模型。在生成响应阶段，模型从当前模型生成多个候选响应；在选择阶段，使用奖励函数筛选出高质量响应；在更新阶段，使用筛选出的高质量响应更新模型。
🔸动态调整：论文提出了一种动态调整采样温度和奖励阈值的方法，以最大化平衡分数（balance score），从而在训练过程中自动平衡探索与利用。

🔎分析总结

🔸探索与利用的动态性：探索与利用的能力在训练过程中是动态变化的，且两者之间的不平衡会阻碍模型的持续改进。
🔸B-STAR的有效性：B-STAR方法在数学问题解决任务中表现出色，能够显著提高Pass@K-S和Reward@K-S分数，表明其能够生成多样且准确的响应，并有效利用奖励模型的反馈。
🔸动态调整的重要性：实验表明，动态调整采样温度和奖励阈值对于最大化平衡分数和提升模型性能至关重要，固定配置的组合效果不如动态调整。

💡个人观点

论文的核心是在自我改进过程中，通过自动调整采样温度和奖励阈值来动态调整探索与利用的配置。

🧩附录