图解DeepSeek R1训练流程

最新推荐文章于 2025-04-14 14:51:49 发布
最新推荐文章于 2025-04-14 14:51:49 发布
阅读量1.7k 收藏 24
点赞数 32
分类专栏： 大模型 文章标签： 大模型 DeepSeek
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yanqianglifei/article/details/145500223
版权

来源：Deepseek R1 论文解读-chance10010​

链接🔗：https://www.bilibili.com/opus/1030715086492139523?spm_id_from=333.1387.0.0&unique_id=10e7841f-b314-45fa-ab72-0cf629421321&code=061eQNll2XANZe4Zm1pl24Ts2O0eQNll&state=

DeepSeek-R1：通过强化学习提升大型语言模型的推理能力

论文题目：《DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning
》

论文链接：https://arxiv.org/abs/2501.12948

论文试图解决的问题

这篇论文介绍了一种新的第一代推理模型——DeepSeek-R1系列，旨在通过强化学习（Reinforcement Learning, RL）提升大型语言模型（Large Language Models, LLMs）的推理能力。具体来说，论文试图解决以下几个问题：

  1. 无监督数据的推理能力培养

    • 传统LLMs依赖大量监督数据来提升推理能力。
    • 论文提出了一种不依赖监督微调（Supervised Fine-Tuning, SFT）的方法，通过纯强化学习过程来培养模型的推理能力。

  2. 推理时的性能扩展

    • 研究如何有效地在测试时扩展推理能力，例如增加推理链（Chain-of-Thought, CoT）的长度。

  3. 模型的自进化能力

    • 论文探索LLMs在没有监督数据的情况下，通过自我进化发展推理能力的可能性，特别是纯RL过程。

  4. 提高模型的可读性和泛化能力

    • 通过引入冷启动数据和多阶段训练流程，提升模型的可读性和语言混合问题。

  5. 小型模型的推理能力提升

    • 通过知识蒸馏技术，将大型模型的推理能力迁移到小型模型，以提高效率。

相关研究

推理增强研究

  • OpenAI的o1系列模型: 通过增加CoT推理过程长度，提升数学、编程、科学推理等任务的性能。

过程和结果的奖励模型（Process-Based Reward Models）

  • Lightman et al. (2023): 提出基于过程的奖励模型，引导模型更好地进行推理。
  • Uesato et al. (2022): 提供过程和结果的反馈。
  • Wang et al. (2023): 研究奖励模型如何引导模型更好推理。

强化学习（Reinforcement Learning）

  • Kumar et al. (2024): 探索如何使用强化学习训练语言模型进行自我修正。
  • Shao et al. (2024) & Wang et al. (2023): 研究强化学习在推理任务中的有效性。

搜索算法

  • Feng et al. (2024), Trinh et al. (2024), Xin et al. (2024): 探索蒙特卡洛树搜索（Monte Carlo Tree Search）和束搜索（Beam Search）在推理任务中的应用。

模型蒸馏（Model Distillation）

  • Qwen (2024b) & Llama (Dubey et al., 2024): 论文利用这些基础模型进行知识蒸馏，以提升小型模型推理能力。

人类偏好对齐（Aligning with Human Preferences）

  • Hendrycks et al. (2020), Gema et al. (2024), Wang et al. (2024): 研究多任务语言理解的基准测试，帮助模型对齐人类偏好。

代码和数学基准测试

  • Jain et al. (2024) & MAA (2024): 评估代码和数学任务的基准测试。

论文如何解决这些问题？

1. 引入DeepSeek-R1-Zero模型

  • 无监督强化学习（RL）: 不依赖SFT，展示出色推理能力。
  • 自进化: 训练过程中自然发展推理行为，如自我验证、反思、长CoT推理链。

2. 引入DeepSeek-R1模型

  • 多阶段训练 & 冷启动数据: 解决DeepSeek-R1-Zero的可读性和语言混合问题。
  • 冷启动数据收集: 通过少量提示和模型自生成答案，微调DeepSeek-V3-Base模型作为RL起点。

3. 强化学习算法

  • Group Relative Policy Optimization (GRPO): 通过组分数估计基线，避免使用与策略模型同样大小的评论模型，降低RL训练成本。

4. 奖励建模

  • 准确性奖励和格式奖励: 采用基于规则的奖励系统，训练模型生成特定格式的推理过程和最终答案。

5. 训练模板

  • 推理过程和答案的模板: 训练模型首先生成推理过程，然后生成最终答案。

6. 知识蒸馏

  • 大型模型向小型模型迁移推理能力: 使用Qwen2.5和Llama作为基础模型，从DeepSeek-R1进行蒸馏，提升小型模型推理能力。

7. 实验和评估

  • 广泛基准测试: 数学、编程、知识问答等任务，验证模型性能。

论文实验

  1. DeepSeek-R1 评估

    • 基准测试: MMLU、C-Eval、SWE-Bench Verified、Codeforces等。
    • 开放性任务: 采用AlpacaEval 2.0和Arena-Hard评估。
    • 与其他模型比较: DeepSeek-V3, Claude-Sonnet-3.5, GPT-4o, OpenAI-o1-mini等。

  2. 知识蒸馏模型评估

    • 小型模型性能: AIME 2024, GPQA Diamond, Codeforces等任务。
    • 与开源模型比较: 与QwQ-32B-Preview等进行对比。

  3. 实验设置

    • 最大生成长度: 32,768个token。
    • 评估方法: 使用pass@k评估，并报告pass@1结果。
    • 共识结果: 对AIME 2024，报告使用64个样本的共识（多数投票）结果。


未来研究方向

  1. 长期推理链（Long CoT）: 增强函数调用、多轮对话、复杂角色扮演、JSON输出等任务能力。
  2. 优化多语言处理能力: 解决DeepSeek-R1在非中文或英文查询时的语言混合问题。
  3. 减少对提示的敏感性: 优化零样本设置下的性能。
  4. 提升软件工程任务的效率: 采用拒绝采样或异步评估提高性能。
  5. 扩展模型规模和数据: 进一步提升推理能力。
  6. 优化GRPO算法: 提高训练效率和模型性能。
  7. 更复杂的奖励系统: 结合规则和神经网络方法优化奖励建模。
  8. 多模态输入的处理: 跨领域任务推理能力增强。
  9. 增强安全性和伦理性: 避免有害内容生成。
  10. 模型实际应用: 在教育、医疗咨询、客户服务等领域部署。

论文总结

论文提出DeepSeek-R1系列模型，利用强化学习提升LLMs推理能力。通过多阶段训练、奖励建模、知识蒸馏等手段，提升推理能力，并在多个基准测试中验证有效性。此外，论文开源模型和相关工具，支持研究社区进一步探索和改进。

【 AI 天才研究院-详细图解】DeepSeek R1 训练过程与原理剖析
AI天才研究院
02-08 847
GRPO 算法：通过生成同一提示下的多个响应，比较群体内部优势（advantage）来优化策略模型，从而省去了训练复杂 value 模型的步骤。规则奖励设计：采用准确性、格式和语言一致性等规则奖励，有效引导模型逐步向正确和规范的推理输出靠拢。拒绝采样：在 RL 过程中剔除推理链中存在错误的样本，保证合成数据的高质量，为后续 SFT 微调提供干净数据。多阶段训练：先用少量标注数据启动，再利用 RL 生成大量推理数据，最后再结合 RL 优化与 SFT 微调，形成闭环训练流程。
DeepSeek掘金——DeepSeek R1架构和训练过程图解
02-28 2943
为了让一切变得简单，我们将使用手绘流程图和简单的计算来帮助从头开始澄清DeeoSeek-R1的核心概念。如果你对 AI 感兴趣，可能听说过 DeepSeek R1。它目前在 LLM 领域很流行，并且表现优于开源和闭源模型。为了让一切变得简单，我们将使用手绘流程图和简单的计算来帮助从头开始澄清DeeoSeek-R1的核心概念。事实上，我们将在整个博客中使用字符串 2 + 3 * 4 等于多少？作为示例，引导你了解 DeepSeek 技术报告的每个组成部分。
一图看懂DeepSeek R1，以及推理模型的四种训练方式
最新发布
2301_76168381的博客
04-14 1197
如果您从事人工智能（或一般机器学习）工作，您可能对模糊且争议激烈的定义很熟悉。"推理模型"这一术语也不例外。最终，有人会在论文中正式定义它，但紧接着在下一次论文中又会重新定义，如此循环往复。在这篇文章中，我将“推理”定义为回答需要复杂、多步骤生成并包含中间步骤的问题的过程。例如，“法国的首都是哪里？”这样的事实性问题不涉及推理。相比之下，“如果一列火车以每小时 60 英里的速度行驶，行驶了 3 小时，它会行驶多远？”这样的问题则需要一些简单的推理。例如，它需要识别距离、速度和时间之间的关系，才能得出答案。
DeepSeek-R1学习
qq_43015237的博客
03-17 634
推出了第一代推理模型reasoning model：DeepSeek-R1-Zero and DeepSeek-R1。Zero版预训练之后没有SFT，而是直接进行RL训练，其表现出强大的推理能力，但是存在可读性较差，语言混杂的问题。为了处理这个问题，并进一步增强性能，推出DeepSeek-R1，其在RL之前使用了多阶段训练和冷启数据，实现与OpenAI-o1-1217可比的性能，并使用R1蒸馏了Qwen和LLama的小模型各种推理benchmark和知识benchmark上的结果。。
【AI学习】关于 DeepSeek-R1的几个流程图
bylander的博客
02-08 3151
关于DeepSeek-R1的几个流程图，清晰易懂形象直观
一文详解DeepSeek技术架构
m0_59164304的博客
02-22 2364
DeepSeek 以其独特的技术架构和创新的训练策略，在 AI 领域展现出了强大的实力和潜力。它通过对 Transformer 架构的优化、动态路由网络的引入以及混合专家系统的应用，提升了模型的性能和效率；通过多阶段的训练策略，使模型具备了丰富的知识、符合人类价值观的输出以及在特定领域的专业能力；通过高效推理引擎、多模态拓展和资源效率提升等关键技术革新，为 AI 的应用和发展提供了更强大的支持。
DeepSeek大模型训练的四个关键阶段
2401_84495872的博客
02-15 1201
在训练像DeepSeek、ChatGPT这类大型语言模型时，通常包含四个关键阶段：预训练（PreTraining）、监督微调（Supervised FineTuning, SFT）、奖励建模（Reward Modeling）和基于强化学习的优化（Reinforcement Learning）。这四个阶段逐步赋予模型通用语言能力、任务适配性，以及对齐人类价值观的能力。**.****目标：**让模型学习语言的通用模式和知识。
MLA——一文通透DeepSeek V2中的多头潜在注意力MLA：改进MHA，从而压缩KV缓存，提高推理速度(含让任何LLM都能用上MLA的方法)
热门推荐
结构之法 算法之道
08-26 3万+
成就本文有以下三个因素校长最近开始搞deepseek了吗？刚看了论文，没搞懂MLA那块的cache是怎么算的，我总觉得他的效果应该类似MQA才对，但是反馈是挺好的目前团队项目上的事情太多，然后近期在写那个KAN确实还没来得及看这个deepseek，我近期看下而搞之前——近几天，会先写一下它的论文解读，故本文就来了且一如既往做到，对于几乎每一个主题，都做到本博客万千读者或七月学员所说的：“还是看校长的文章好理解”，如有任何问题或任何不懂的地方，可以随时留言/评论，我会找时间尽快回复。
DeepSeek-V3的训练之道
weixin_44245188的博客
02-07 1682
在 DeepSeek-V3 中，MLA 的 KV 压缩维度（dc）设置为 512，Query 压缩维度（d’）设置为 1536，解耦 Key 的头维度（dr）设置为 64。在预训练阶段之后，DeepSeek-V3 进入了后训练阶段，这一阶段主要包括监督微调（Supervised Fine-Tuning, SFT）和强化学习（Reinforcement Learning, RL），通过这两个阶段的训练，DeepSeek-V3 的性能得到了进一步的提升，使其能够更好地理解和生成符合人类偏好的文本。
2025 DeepSeek R1架构和训练过程图解.pdf
04-08
使用场景及目标：①理解大型语言模型（LLM）的训练流程和优化方法；②掌握如何通过强化学习提升模型的推理能力和语言一致性；③学习如何通过监督微调和拒绝抽样技术生成高质量训练数据；④了解模型蒸馏技术的应用。;...
三张图速通 DeepSeek-R1 论文和技术原理
zenRRan的博客
02-11 1328
知乎：木尧（已授权）链接：https://zhuanlan.zhihu.com/p/20538667476编辑：「深度学习自然语言处理」公众号总览最近在研究和复现 DeepSeek-R1（671B 参数 MoE，激活 37B 参数，128K 上下文的深度思考模型）论文，于是画了三张图来把整个论文核心内容总结一下，欢迎大家讨论！核心是三组模型：一是纯强化学习（后文简称 RL）方案训的 DeepSee...
大模型系列——DeepSeek R1架构和训练过程图解
2401_84052244的博客
03-27 471
这些问题，混乱的推理和语言混乱，是明显的障碍。现在我们已经了解了 DeepSeek v3 的思考方式，它是 DeepSeek R1 实现的起点，我所说的起点是指它已经创建了 DeepSeek R1 Zero版本，这是一个在创建最终版本之前存在一些错误的初始版本。然后，GRPO 使用计算出的优势来更新策略模型 (DeepSeek-V3-Base)，以增加生成具有高优势的输出（如 o2 和 o3）的概率，并降低具有低优势或负优势的输出（如 o1 和 o4）的概率。至关重要的是，这无需单独的批评模型即可完成。
DeepSeek-R1 是怎么训练的｜深度拆解
2401_85375298的博客
01-28 7949
昨天晚上，DeepSeek 又开源了 DeepSeek-R1 模型（后简称 R1），再次炸翻了中美互联网：R1 遵循 MIT License，允许用户通过蒸馏技术借助 R1 训练其他模型。R1 上线 API，对用户开放思维链输出R1 在数学、代码、自然语言推理等任务上，性能比肩 OpenAI o1 正式版，小模型则超越 OpenAI o1-mini最离谱的是，价格只有 OpenAI 的几十分之一下面，让我们以更加系统的方式，来看看这次的 R1，是这么炼成的。
DeepSeek V2节省了42.5%的训练成本，怎么做到的？
百态老人的博客
12-26 2014
DeepSeek V2通过多种创新技术和优化措施实现了42.5%的训练成本节省。通过以上技术手段，DeepSeek V2在保持高性能的同时，实现了显著的训练成本节省。DeepSeekMoE混合专家架构的具体工作原理主要基于两个核心策略：细粒度专家细分和共享专家隔离。DeepSeek V2如何实现激活参数的减少，具体技术细节是什么？DeepSeek V2中KV缓存压缩为潜在向量（MLA）的技术细节和效果评估。
DeepSeek-V2 论文解读：混合专家架构的新突破
进一步有进一步的欢喜~
02-08 1452
在大语言模型（LLMs）蓬勃发展的浪潮中，DeepSeek-V2 脱颖而出，成为一款兼具强大性能、高效训练与推理能力的混合专家（MoE）语言模型。它拥有 236B 总参数，在处理每个令牌时仅激活 21B 参数，且支持长达 128K 令牌的上下文长度，为自然语言处理领域带来了新的突破。本文将深入探讨 DeepSeek-V2 的技术细节，包括其创新架构、预训练过程、对齐方法以及性能评估，旨在为技术人员提供全面且深入的技术解读。
DeepSeek-V2：强大、经济、高效的混合专家语言模型 github页面
强化学习曾小健
07-18 3054
如图所示，DeepSeek-V2 在 LiveCodeBench 中表现出了相当高的熟练度，获得了超越其他几个复杂模型的 Pass@1 分数。我们在 AlpacaEval 2.0 和 MTBench 上评估了我们的模型，显示了 DeepSeek-V2-Chat-RL 在英语对话生成方面的竞争性能。评估结果验证了我们方法的有效性，因为 DeepSeek-V2 在标准基准和开放式生成评估中都取得了出色的表现。为了促进我们模型的高效执行，我们提供了专用的 vllm 解决方案，以优化性能以有效运行我们的模型。
DeepSeek R1 + 个人知识库，直接起飞！
hunteritself的博客
02-06 2951
DeepSeek R1 + 个人知识库，直接起飞！
DeepSeek R1部署
02-28
### 如何部署 DeepSeek R1 #### 准备工作 为了成功部署 DeepSeek R1，在开始之前需确保计算机满足最低硬件需求，并完成必要的软件环境搭建。对于 Windows 用户而言，安装 Docker 是必不可少的一个环节[^2]。 #### 安装 Docker 针对 Windows 平台，推荐通过官方渠道下载最新版本的 Docker Desktop 来简化安装流程。按照 CSDN 博客中的《Windows 安装docker（详细图解）》一文所提供的图文指导操作即可顺利完成 Docker 的安装过程。 #### 获取镜像与配置文件 获取 DeepSeek R1 所需的容器镜像以及预训练模型权重是至关重要的一步。通常情况下，这些资源会由开发者提供下载链接或者托管于公共仓库中供使用者拉取。具体方法可以在相关文档里找到详细的说明。 #### 启动服务 当一切准备就绪之后，可以通过命令行工具执行特定指令来启动基于 Docker 的 DeepSeek R1 应用程序实例。这一般涉及到运行 `docker run` 命令并附加相应的参数选项以指定端口映射、卷挂载等设置[^1]。 ```bash docker run -d --name deepseek-r1 \ -p 8080:8080 \ -v /path/to/config:/app/config \ deepseek/r1:latest ``` 上述脚本展示了怎样创建一个新的后台进程用于持续监听外部请求的同时加载自定义配置文件到应用内部路径下。 #### 测试连接 最后要验证整个系统的正常运作情况，打开浏览器访问 http://localhost:8080 或者利用 Postman 这样的 API 调试平台发送测试请求给刚刚建立的服务接口地址来进行功能性的初步检验[^3]。 #### 模型选择与优化 根据实际应用场景的不同可以选择适合自己的预训练模型版本并对性能做出相应调整。例如减少推理延迟时间或是提高识别精度等方面的要求都可以通过对超参微调等方式实现更优的效果。 #### 实际应用场景 构建个人专属 AI 助手能够帮助处理日常事务如日程管理、邮件回复自动化；也可以应用于专业领域比如医疗影像分析辅助诊断疾病等等。总之只要发挥想象力就没有做不到的事情[^4]。 #### 故障排查指南 如果遇到任何问题建议先查阅官方提供的常见问题解答部分寻找解决方案。另外还可以加入社区论坛与其他爱好者交流心得共同解决问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值