如何让AI学会“自我改进”？揭秘Open R1和DeepScaleR的突破性训练方法

近年来，AI模型的自我改进能力成为研究热点。传统AI依赖海量数据和监督学习，但在复杂推理任务（如数学竞赛题）中常常受限。DeepSeek-R1的成功发布点燃了全球复现热潮，HuggingFace的Open R1和UC伯克利的DeepScaleR等项目通过合成推理轨迹和强化学习（RL），让AI从“模仿”逐步走向“思考”。本文将结合实验数据和技术细节，深入解析这些突破性方法，并探讨上海交大LIMO项目的启示，帮助你理解AI自我改进的奥秘。

---

背景：AI自我改进的挑战与机遇

传统AI模型在处理复杂推理任务时，往往因缺乏自我纠错和动态调整能力而表现不佳。以数学竞赛题为例，模型可能生成看似合理的答案，却无法验证其正确性。DeepSeek-R1的成功表明，通过精心设计的训练数据和策略，AI可以学会自我改进，在高难度任务中大幅提升性能。这一突破激发了全球团队的热情，Open R1和DeepScaleR等项目应运而生，目标是通过合成高质量数据和分阶段训练，释放模型的推理潜能。

---

1、Open R1：分三步复现DeepSeek-R1

Open R1由HuggingFace发起，旨在复现DeepSeek-R1的成功。其训练流程分为三个步骤，逐步提升模型性能。

1.1、生成高质量蒸馏数据

• 数据来源࿱