MiroMind：LLM监督微调和强化学习综述

📖标题：100 Days After DeepSeek-R1: A Survey on Replication Studies and More Directions for Reasoning Language Models
🌐来源：arXiv, 2505.00551

🌟摘要

🔸推理语言模型（RLMs）的最新发展代表了大型语言模型的一种新的演变。特别是最近发布的DeepSeekR1产生了广泛的社会影响，并激发了研究界对探索语言模型的显式推理范式的热情。然而，DeepSeek尚未完全开源已发布模型的实现细节，包括DeepSeek-R1-Zero、DeepSeek-R1和提炼的小型模型。因此，出现了许多复制研究，旨在再现DeepSeek-R1所取得的强大性能，通过类似的训练程序和完全开源的数据资源达到可比的性能。这些工作研究了监督微调（SFT）和可验证奖励强化学习（RLVR）的可行策略，重点关注数据准备和方法设计，产生了各种有价值的见解。
🔸在本报告中，我们总结了最近的复制研究，以激励未来的研究。我们主要关注SFT和RLVR作为两个主要方向，介绍了当前复制研究的数据构建、方法设计和训练过程的细节。此外，我们从这些研究报告的实施细节和实验结果中得出了关键发现，以期激励未来的研究。我们还讨论了增强RLM的其他技术，强调了扩大这些模型应用范围的潜力，并讨论了开发中的挑战。通过这项调查，我们的目标是帮助RLM的研究人员和开发人员了解最新进展，并寻求激发新的想法来进一步增强RLM。

🛎️文章简介

🔸研究问题：如何有效复制和扩展DeepSeek-R1模型的推理能力，以及探索推理语言模型（RLM）在各种任务中的应用。
🔸主要贡献：论文提供了对DeepSeek-R1的复制研究的全面回顾，重点分析了监督微调和可验证奖励的强化学习方法，提出了未来推理语言模型发展的新方向。

📝重点思路

🔸论文首先概述了推理语言模型的监督微调（SFT）过程，包括训练数据的准备和模型配置。
🔸随后，探讨了可验证奖励的强化学习（RLVR）方法，分析了不同的RL算法和奖励系统设计。
🔸通过对现有数据集的细致审查，论文总结了各类推理模型训练的数据资源和采样策略。
🔸最后，论文探讨了推理语言模型在多模态和多语言任务中的潜在扩展方向，强调了未来的研究可能性。

🔎分析总结

🔸实验表明，经过SFT和RLVR训练的模型在数学、编码和科学问题等领域表现出较强的推理能力。
🔸研究发现，数据的数量和多样性对提升推理模型的性能至关重要。
🔸论文指出，RL方法在不同任务中提高了模型的泛化能力，但在某些情况下可能会导致对训练数据的过拟合。
🔸通过对比不同的训练策略，论文总结了当前推理语言模型在设计和实施上的共同实践。

💡个人观点

论文的创新点在于系统性地整合了多项复制研究，提出了推理语言模型的多种发展方向，并强调了在推理能力提升中的数据处理和算法设计的重要性。

🧩附录