彻底拆解 DeepSeek-R1 训练流程，一文看懂V3、R1-Zero、和 R1-Distillation 的关系

DeepSeek-R1 是由 V3 训练而来，但是随 R1 论文发布的不仅仅只有 R1，还有V3、R1-Zero、R1-Distillation 以及 4 个训练节点。

他们之间是什么关系，V3 是如何最终训练为 R1？下图来自于Sebastian Raschka 在《Understanding Reasoning LLMs》中对 R1 构建流程的建模，明显看到从 V3 到 R1 并不是直接训练而来，中间经过了非常多的步骤。下面我们就用 3 张图完全拆解 R1 的训练流程。

第一张图：从 V3 纯强化训练得到 R1-Zero——最 Drama 的，也是最历史性的一步

在之前的的大模型强化学习训练中，广泛采用 PPO，但是从 DeepSeekMath 开始，采用 GRPO进行强化训练，没有额外的评价结果的模型，全靠模型自己“练习”。

最 Drama 的来了，以 DeepSee-V3 模型为基础，只设定上述两个最简单的激励目标：1、答案准确；2、格式正确，然后训练出来的R1-Zero，性能强大到直接“逼近甚至超过”OpenAI-o1-mini！

最有趣的来了，随着强化学习次数的增多，R1-Zero 开始使用更多的思考时间解决推理问题。

用 DeepSeek-R1 的原文就是：这种提升并非外部调整的结果，而是模型内部的一种内在发展。。。这种自我进化最显著的方面之一是，随着测试时计算量的增加，复杂行为逐渐出现。

好的，第一步我们从 V3 获得了 R1-ZERO。

第二张图：通过 R1-Zero 得到冷启动数据，再次训练 V3，并在此基础上继续强化训练，最终得到优质“思维链”数据集+从 V3 得到知识集数据

这一步说实话是真的“绕”。上一步从 V3 到 R1-Zero，本来正常思维都是从 R1-Zero 继续往下训练。

但是 R1-Zero 只是用来生成冷启动思维链数据，然后将这个冷启动数据再去训练 V3！生成过程结果节点 2，然后对节点 2 进行相同的强化训练，但是和上面那个激励模型简单的强化训练不同！这一步的激励模型重点在准确、格式以及回答的连贯性。

你以为节点 3 就是最终成果吗？不，这一步真正的成果是通过节点 3 生成的优质的思维链数据集以及 最初 V3 模型生成知识性数据集。（所以，到这一步就能看出，虽然是 R1 论文，但是真正的核心模型是 DeepSeek-V3！！！

第三张图： 用上述数据集微调 V3，用适用于所有场景的强化学习继续训练 V3，最终得到 DeepSeek-R1

终于，利用第二张图里得到的监督数据，依然是对 V3 进行微调，然后最后再进行一轮强化学习，这次强化学习不像第一次那么简单，而是多样化的奖励模型，以及更符合人类偏好，所谓“对齐”。大功告成！

这么看，似乎还是从 V3 直接训练出了 R1，但是如果没有第二张图片中的两个数据集微调，也许 V3 的性能并不会那么惊艳。

为了验证这两个数据集（我觉得应该叫做“完美的炼丹材料”，甚至有点像凡人修仙传里的瓶灵产生的灵液），DeepSeek 将他们用在了两个开源模型上，一个国内阿里的 Qwen，一个是国外的 Meta 的 Llama。

效果惊人！

通过“蒸馏”显著的提高了这些模型的推理能力（岂止是显著，Qwen-32B 的成绩已经超过 Llama-70B 甚至能和 R1-Zero 比一比）。

这波 DeepSeek 简直无敌啊，这流程也太“天马行空！

我觉得模型开源倒是其次了，这个训练过程（炼丹步骤）都能公布真的是无私奉献了！这才是为啥 DeepSeek 这次这么出圈的核心原因吧！

让我们回顾一下：

1、通过 V3 炼出 R1-Zero；

2、通过 R1-Zero 获取冷启动 CoT数据集，然后继续训练 V3 两轮后，从结果中再次获得优质的 CoT 数据集，然后再从 V3 中获取优质的非推理的知识性数据集；

3、拿着这两个数据集对 V3 再次微调！然后进行一轮全新的强化训练，最终得到 R1！

4、而且这个炼丹方式不仅适合 V3，也适合各种开源模型，让他们都具备了推理能力！

所以！真正的核心是 DeepSeek-V3 模型啊！

其实 V3 刚发布时，大神 Andrej 就曾表示这个模型非常的棒！而 V3 就是 DeepSeek 很多创新的集大成者：MoE、MLA、FP8、MTP。

看来是要好好地去看看 DeepSeek-V3 的论文了！

 如何学习AI大模型？

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；

第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；

第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；

第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；

第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；

第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；

第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。

👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；

• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；

• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；

• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。

1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集

👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓