北京大学第三弹 | 一文读懂 DeepSeek-R1\Kimi 1.5及类强推理模型开发解读（附76页PDF免费下载）-CSDN博客

本文链接：https://blog.csdn.net/weixin_49817079/article/details/146719351

在数字化浪潮中，大模型技术成为推动各在大语言模型飞速发展的当下，DeepSeek-R1 无疑是其中的佼佼者。它开创了 RL 加持下强推理慢思考的范式新边界，为大模型的发展注入了新的活力。今天我们将随着北京大学深入剖析 DeepSeek-R1 \ Kimi 1.5及强推理模型的技术奥秘、应用成果以及未来发展方向。

1、技术创新引领变革

突破传统，开创推理新范式

DeepSeek-R1 在技术上实现了重大突破，开创了 RL 加持下的强推理慢思考范式。以往的模型在推理能力上存在局限，而 DeepSeek-R1 借助纯大规模强化学习，展现出强大的推理与长文本思考能力。在数学代码任务中，它在 AIME2024 上取得 79.8% 的成绩，略高于 OpenAI-o1-1217，在 MATH-500 上更是获得 97.3% 的惊人成绩，与 OpenAI-o1-1217 表现相当；在编码任务中，其在 Codeforces 上获得 2029 Elo 评级，超越 96.3% 的人类参与者。这一系列成果标志着开源社区在与闭源大模型的竞争中取得了重要进展。

技术细节：从 ero 到 R1R1-Z 的进化

R1-Zero：纯强化学习的探索：DeepSeek-R1-Zero 是无需监督微调 SFT、纯强化学习驱动的强推理模型。它以基于规则的奖励（准确率奖励 + 格式奖励）为核心，通过推理为中心的大规模强化学习，不断提升模型的数学代码能力。在训练过程中，模型的 thinking response length 逐渐增加，自然涌现出长文本推理及长链推理能力，还能进行自我修复和启发式搜索。例如，在解决复杂数学问题时，它会不断反思和探索其他方法，这种自主学习的方式让模型摆脱了对预先设定模式的依赖，节省了标注成本，同时提升了泛化能力。

R1 的优化升级：R1 在 R1-Zero 的基础上进行了多方面的优化。通过冷启动，利用详细带反思和验证的数据集，提升了语言的语义连贯性、可读性和基本推理能力；增加大规模 RL 训练过程，提升了推理能力；引入语言一致性奖励，解决了模型在多语言环境中推理时出现的语言混合问题；进行拒绝采样和全领域 SFT，使模型在推理能力不减的前提下，语言表现更自然，适应性更广泛。

GRPO：强化学习的创新算法

GRPO 是 DeepSeek-R1 中的关键创新算法，它通过构建多个模型输出的群组，并计算群组内的相对奖励来估计基线，避免了传统策略优化算法中使用与策略模型大小相同的评论模型，大幅降低了 RL 训练的计算成本。与传统的 PPO 算法相比，GRPO 无需额外近似价值函数，直接将策略模型与参考模型的 KL 散度作为正则项加入损失函数，简化了优势值的计算过程。这使得 GRPO 在大规模强化学习任务中，尤其是处理复杂推理任务时，能够更有效地优化策略模型，同时保持较高的计算效率。

2、应用成果：多领域绽放光彩

教育领域：个性化学习的得力助手

在教育领域，DeepSeek-R1 为个性化学习提供了强大支持。高途教育接入该模型后，在学习评估过程中，能从学生过往学习记录中提取关键信息，生成个性化学习规划和策略，引入的 AI 助手日访问量提升 200%，高中数学测评准确率提升 15% 。北京朝阳区某中学使用的 DeepSeek 教育大模型，可监测学生错题率、学习时长等数据，针对学生情况给出建议，还能根据兴趣点定制教学内容，帮助教师更好地了解学生，提升教学的细致程度和针对性，获得师生和家长的认可。

医疗领域：助力精准医疗发展

在医疗领域，DeepSeek-R1 也发挥着重要作用。龙岗区妇幼保健院将产前诊断知识库导入 DeepSeek 模型，开发宣教对话助手与答疑助手，市民获取产前诊断知识的效率大幅提升。在心血管疾病诊断辅助方面，DeepSeek 通过分析患者病史和症状，为医生提供诊断建议，辅助医生做出更科学的决策。神州医疗将 DeepSeek 融入核心技术底座，进行多模态临床数据治理，完成 100 多项基础数据自动质控，术语映射精度提升超 10%。

其他领域：推动各行业智能化转型

在金融行业，江苏银行引入该模型，依托 “智慧小苏” 平台，用于智能合同质检和自动化估值对账，实现邮件分类、产品匹配等全链路自动化处理，每天节约 9.68 小时工作量，并在智能客服、智慧办公等领域落地近 20 个场景。在物流行业，顺丰同城接入 DeepSeek 大模型，实现智能业务规划、骑手融合调度和智能订单分发，提升了订单与骑手匹配的准确性和效率，降低运营成本。

3、与其他模型的差异与优势

与 Kimi K1.5 的对比

Kimi K1.5 专注于用长文本 CoT 解决推理时的 Scaling 问题，从 In-Context RL 的角度出发，直接训练模型 approximate Planning 的过程。而 DeepSeek-R1 从纯 RL 入手，利用 GRPO + Rule-Based Reward 激活模型能力。二者都关注 RL 方法带来的提升，但在具体实现和核心观念上有所不同。Kimi K1.5 更多地关注对教师模型推理策略的学习，而 DeepSeek-R1 则更强调模型的自主探索和泛化能力。在处理复杂推理任务时，DeepSeek-R1 的 GRPO 算法能够更有效地优化策略模型，保持较高的计算效率。

与 STaR-based 方法的对比

STaR-based 方法将思考过程建模到语言模型的 Next Token Prediction 中，通过反复自我迭代和监督微调来提升模型推理能力。然而，这种方法对问题的结构要求较高，对于复杂数学推理任务可能难以自我迭代，且难以融入 Rule-Based Reward for RL 训练。相比之下，DeepSeek-R1 采用的 Pure RL 方法，直接利用 RL 激活基座模型的推理潜力，通过构建 rule-based reward 和设计 RL Data，激活模型的内部推理能力，在泛化性和推理表现上具有更高的上界。

蒸馏与强化学习的较量

蒸馏是将大型模型的知识传递给小型模型的一种方法，DeepSeek 利用蒸馏 R1 的手段获得了一系列表现突出的小模型。但蒸馏更多是去拟合数据中的 Pattern，很难学习到数据背后的数学规律和 MetaCoT。强化学习则通过试错和尝试，鼓励模型在最大化奖励过程中学习到推理背后的规律，获得更高的泛化性和推理表现上界。虽然 SFT 在规范模型输出格式上有一定作用，能使后续的 RL 获得更高收益，但强化学习在提升模型强推理能力方面更具优势。