腾讯：强化学习提升LLM数学推理

📖标题：DEEPTHEOREM: Advancing LLM Reasoning for Theorem Proving Through Natural Language and Reinforcement Learning
🌐来源：arXiv, 2505.23754

🌟摘要

🔸定理证明是评估大型语言模型 (LLM) 中复杂推理能力的主要测试平台。然而，传统的自动定理证明 (ATP) 方法严重依赖正式的证明系统，该系统与在预训练期间获得的非正式自然语言知识衍生的 LLM 强度非常吻合。
🔸在这项工作中，我们提出了 Deep定理，这是一个全面的非正式定理证明框架，利用自然语言来增强 LLM 的数学推理。Deep定理包括一个由121K个高质量的IMO级非正式定理和跨越不同数学域的证明组成的大规模基准数据集，严格注释正确性、难度和主题类别，并附有系统构建的可验证定理变体。我们设计了一种新的强化学习策略（RL-Zero），明确地针对非正式定理证明量身定制，利用经过验证的定理变体来激励稳健的数学推理。此外，我们提出了综合结果和过程评估指标，检查证明正确性和推理步骤的质量。
🔸大量的实验分析表明，与现有的数据集和监督微调协议相比，Deep 定理显着提高了 LLM 定理改进的性能，实现了最先进的准确性和推理质量。我们的研究结果强调了 Deep 定理从根本上推进自动非正式定理证明和数学探索的潜力。项目在https://github.com/Jiahao004/DeepTheorem

🛎️文章简介

🔸研究问题：如何利用自然语言和强化学习来提升大语言模型（LLM）在数学定理证明中的推理能力？
🔸主要贡献：论文提出了一种名为DeepTheorem的框架，该框架包括一个大规模的自然语言数据集以及一种新的强化学习方法（RL-Zero），显著提升了LLM在定理证明中的性能。

📝重点思路

🔸构建了一个包含121K个高质量非正式数学定理及其证明的数据集，系统标注了正确性、难度和主题多样性。
🔸采用强化学习策略（RL-Zero），使得模型能够基于自然语言和已有知识进行数学推理，而不是依赖传统的监督学习方法。
🔸通过生成可验证的对立定理变种，为RL训练提供奖励信号，增强推理能力。
🔸实施严格的数据去重和质量控制流程，确保数据集的完整性和高质量的证明生成。

🔎分析总结

🔸DeepTheorem显著提升了大型语言模型在定理证明方面的表现，尤其是在高难度定理上，超越了现有的数据集和训练方法。
🔸与传统的监督学习方式相比，RL-Zero方法证明了在数学推理任务中更加高效且有效。
🔸实验表明，采用DeepTheorem的数据集后，LLMs在生成证明的正确性和推理质量上达到了最先进的水平。
🔸DeepTheorem不仅提供了丰富的数学定理样本，还有助于模型在多样化的数学领域中进行有效的推理和学习。

💡个人观点

论文构建一个大规模、非正式的数学定理数据集，通过RL-Zero训练范式，使得LLM能够从自然语言中学习推理，同时克服了传统形式化证明方法的局限性。

🧩附录