📖标题:DeepSeek-Prover-V1.5: Harnessing Proof Assistant Feedback for Reinforcement Learning and Monte-Carlo Tree Search
🌐来源:arXiv, 2408.08152
摘要
我们介绍了DeepSeek-Prover-V1.5,这是一个开源的语言模型,专门为Lean 4中的定理证明而设计,通过优化训练和推理过程来增强DeepSeek-Prover-V1。该模型在DeepSeekMath-Base上进行了预训练,专门针对正式数学语言进行了优化,然后使用从DeepSeek-Prover-V1衍生的增强形式定理证明数据集进行监督微调。通过证明助手反馈的强化学习(RLPAF),进一步对模型进行了优化。除了DeepSeek-Prover-V1的单遍完整证明生成方法,我们提出了RMaxTS,这是一种蒙特卡罗树搜索的变体,采用内在奖励驱动的探索策略来生成多样的证明路径。DeepSeek-Prover-V1.5比DeepSeek-Prover-V1有了显著的提升,在高中水平的miniF2F基准测试的测试集上实现了新的最先进结果(63.5%),并在本科水平的ProofNet基准测试中取得了25.3%的成绩。
🛎️文章简介
🔸研究问题:如何提高大语言模型(LLM)的形式化数学证明能力。
🔸主要贡献:论文提出了一种基于LLM的形式数学证明器综合框架,整合了大规模数学预训练、形式化数学语料库构建、利用反馈来进行强化学习和蒙特卡洛树搜索。
📝重点思路
🔺相关工作
🔸形式定理证明,不仅必须掌握形式系统的语法和语义,而且还要将抽象的数学推理与精确的形式表示结合起来。
🔸形式定理证明中的语言模型通常采用两种策略:证明步骤生成和整体证明生成。
🔸证明步骤生成预测每个后续策略,并使用形式验证器对其进行验证,以获得有关当前策略状态的更新信息,通常利用树搜索技术来构造有效的证明。
🔸整体证明生成的计算效率很高,它根据定理陈述生成完整的证明代码,需要较少的通信预算来协调证明者模型和形式定理验证者。
🔺论文方案
🔸大规模数学预训练:使用专门的数学推理语料库对模型进行预训练,包括代码和自然语言数学内容。
🔸语料库构建与增强:构建和增强用于监督微调的形式化数学语料库,通过添加详细的解释性注释,以改善自然语言描述与思维增强证明生成之间的对齐。
🔸在线强化学习:使用监督微调数据集中的定理陈述子集作为训练提示,使用生成证明的严格验证作为奖励反馈,通过GRPO训练正确和错误的证明对。
🔸树搜索长期规划:通过截断和恢复机制结合了步骤证明和整体证明的优点,集成到MCTS和RMaxTS算法中,以提高问题解决能力。
🔎分析总结
🔸DeepSeek在单次全证明、树搜索方法和少量采样下都能远超之前的SOTA结果。
🔸来自验证反馈的在线强化学习通常可以增强模型能力,和RMaxTS组合可以进一步提高性能。
🔸CoT使证明策略在数学思维上更加系统化和主动性,非CoT可以有效地使用高级策略来解决计算问题,结合使用可以使定理证明的规划路径多样化。
💡个人观点
论文的核心在于结合了证明步骤生成和整体证明生成的优势,通过截断-恢复机制和树搜索方法,提高了形式化数学证明的性能。
附录