DeepSeek：LLM通过反馈做强化学习和树搜索

📖标题：DeepSeek-Prover-V1.5: Harnessing Proof Assistant Feedback for Reinforcement Learning and Monte-Carlo Tree Search
🌐来源：arXiv, 2408.08152

摘要

我们介绍了DeepSeek-Prover-V1.5，这是一个开源的语言模型，专门为Lean 4中的定理证明而设计，通过优化训练和推理过程来增强DeepSeek-Prover-V1。该模型在DeepSeekMath-Base上进行了预训练，专门针对正式数学语言进行了优化，然后使用从DeepSeek-Prover-V1衍生的增强形式定理证明数据集进行监督微调。通过证明助手反馈的强化学习（RLPAF），进一步对模型进行了优化。除了DeepSeek-Prover-V1的单遍完整证明生成方法，我们提出了RMaxTS，这是一种蒙特卡罗树搜索的变体，采用内在奖励驱动的探索策略来生成多样的证明路径。DeepSeek-Prover-V1.5比DeepSeek-Prover-V1有了显著的提升，在高中水平的miniF2F基准测试的测试集上实现了新的最先进结果（63.5%），并在本科水平的ProofNet基准测试中取得了25.3%的成绩。

🛎️文章简介

🔸研究问题：如何提高大语言模型（LLM）的形式化数学证明能力。
🔸主要贡献：论文提出了一种基于LLM的形式数学证明器综合框架，整合了大规模数学预训练、形式化数学语料库构建、利用反馈来进行强化学习和蒙特卡洛树搜索。

📝重点思路

🔺相关工作

🔸形式定理证明，不仅必须掌握形式系统的语法和语义，而且还要将抽象的数学推理与精确的形式表示结合起来。
🔸形式定理证明中的语言模型通常采用两种策略：证明步骤生成和整体证明生成。
🔸证明步骤生成预测每个后续策略，并使用形式验证器对其进行验证，以获得有关当前策略状态的更新信息，通常利用树搜索技术来构造有效的证明。
🔸整体证明生成的计算效率很高，它根据定理陈述生成完整的证明代码，需要较少的通信预算来协调证明者模型和形式定理验证者。

🔺论文方案

🔸大规模数学预训练：使用专门的数学推理语料库对模型进行预训练，包括代码和自然语言数学内容。
🔸语料库构建与增强：构建和增强用于监督微调的形式化数学语料库，通过添加详细的解释性注释，以改善自然语言描述与思维增强证明生成之间的对齐。
🔸在线强化学习：使用监督微调数据集中的定理陈述子集作为训练提示，使用生成证明的严格验证作为奖励反馈，通过GRPO训练正确和错误的证明对。
🔸树搜索长期规划：通过截断和恢复机制结合了步骤证明和整体证明的优点，集成到MCTS和RMaxTS算法中，以提高问题解决能力。

🔎分析总结

🔸DeepSeek在单次全证明、树搜索方法和少量采样下都能远超之前的SOTA结果。
🔸来自验证反馈的在线强化学习通常可以增强模型能力，和RMaxTS组合可以进一步提高性能。
🔸CoT使证明策略在数学思维上更加系统化和主动性，非CoT可以有效地使用高级策略来解决计算问题，结合使用可以使定理证明的规划路径多样化。

💡个人观点

论文的核心在于结合了证明步骤生成和整体证明生成的优势，通过截断-恢复机制和树搜索方法，提高了形式化数学证明的性能。

附录