DeepSeek-R1/Zero、RL GRPO以及蒸馏过程详解

已于 2025-03-31 14:52:39 修改
阅读量1.7k 收藏 12
点赞数 10
分类专栏： 大语言模型/对话问答/自然语言处理 深度学习基础/原理 大模型AIGC 文章标签： 人工智能 自然语言处理 语言模型 深度学习
于 2025-02-11 15:32:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011239443/article/details/145393748
版权

重磅推荐专栏：
《大模型AIGC》
《课程大纲》
《知识星球》

本专栏致力于探索和讨论当今最前沿的技术趋势和应用领域，包括但不限于ChatGPT和Stable Diffusion等。我们将深入研究大型模型的开发和应用，以及与之相关的人工智能生成内容（AIGC）技术。通过深入的技术解析和实践经验分享，旨在帮助读者更好地理解和应用这些领域的最新进展

1. 训练方案

1.1 LLM通用训练方案

大型语言模型（LLM）的训练过程可以分为三个主要步骤，每个步骤都有其独特的目标和方法。让我们用一个简单的比喻来解释这个过程：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
DeepSeek-R1-Zero 与 DeepSeek-R1 的异同与优劣分析
强化学习曾小健
02-02 3796
通过冷启动与多阶段训练，平衡了性能与实用性，成为当前开源模型中推理能力的标杆。是纯RL驱动的推理模型先驱，展示了无监督下模型的自我进化潜力，但受限于可读性和通用性。：探索长链推理（CoT）在多功能任务（如函数调用、多轮对话）中的应用。：生成的高质量数据可赋能小模型（如7B模型超越GPT-4o）。：多阶段训练（SFT+RL+拒绝采样）需要精细调参和资源管理。：过度专注推理任务，其他任务（如写作、问答）表现不足。：结合非推理数据，在写作、问答等任务中表现全面。（如反思、多步验证），无需人工干预。
智能推理的革命：DeepSeek-R1 深度解析其算法与实现
步子哥的博客
01-26 5269
DeepSeek-R1的成功，标志着LLMs在推理能力上的一次质的飞跃。通过创新性的强化学习训练方法，DeepSeek-R1不仅在多个推理任务中展现出卓越的性能，更为未来的LLMs研究指明了新的方向。随着团队在多语言处理、通用能力和软件工程任务等方面的持续努力，DeepSeek-R1有望在更多领域中发挥关键作用，成为引领AI前沿的璀璨明星。
算法揭秘｜GRPO：推动DeepSeek实现卓越性能的关键引擎
GentelAi的博客
02-25 858
在语言模型的应用中，无论是让模型解决数学问题，还是使其在对话中更好地满足人类偏好（例如避免不当输出或提供更详细的解释），我们通常首先通过大规模的无监督或自监督训练为模型打下基础。然而，随着模型规模的扩大和任务复杂度的增加，PPO的内存开销和计算成本问题日益凸显，GRPO基于组内相对表现的优化机制，消除了对复杂评论模型的需求，从而大幅降低了计算开销。GRPO的核心目标是通过简化算法结构，提高计算效率，同时增强模型在特定任务（如数学推理）中的表现。本文将深入探讨GRPO的背景、原理及其在LLM中的应用。
深度解析 DeepSeek R1：强化学习与知识蒸馏的协同力量
llm_way的博客
01-30 2535
DeepSeek-R1 的问世，无疑在 AI 领域激起了千层浪。自发布仅一周，它便凭借卓越的性能和创新的技术，成为 AI 社区热议的焦点，代表着人工智能在推理和理解能力上的重大飞跃。今天我们一起深度解析一下DeepSeek-R1。
从零训练DeepSeek R1 Distill模型｜模型蒸馏技术实战.zip
02-05
目录： 1.DeepSeek R1模型蒸馏实战 2.DeepSeek R1开源情况介绍 3.推理大模型主流训练思路介绍 4.模型蒸馏概念入门与DeepSeek R1模型蒸馏思路 5.DeepSeek R1模型蒸馏基本环境搭建.mp4 6.模型蒸馏数据集准备与数据清洗.mp4 7.DeepSeek R1模型蒸馏实战及蒸馏前后模型性能对比.mp4
【大模型理论篇】DeepSeek-R1-Zero之关键技术GRPO解析
源泉的小广场
02-04 1962
deepseek-r1-zero、强化推理、大模型、grpo、Group Relative Policy Optimization、群体相对策略优化、critic model、ppo
DeepSeek-R1-Zero 的训练过程：pytorch代码实现
阿正的梦工坊
03-03 1579
DeepSeek-R1-Zero 的训练过程是基于纯强化学习（Reinforcement Learning, RL）的方法，不依赖监督微调（Supervised Fine-Tuning, SFT）作为预备步骤。
DeepSeek- R1 原理介绍
kcarly的专栏
02-03 6303
DeepSeek-R1 是一款基于强化学习的先进推理模型，其通过冷启动数据、多阶段训练、组相对策略优化等技术实现了卓越的推理性能。同时，其开源特性、低成本运行以及广泛的应用场景使其成为AI领域的重要突破。这一模型不仅推动了AI技术的发展，也为企业和开发者提供了强大的工具支持。DeepSeek-R1 在教育辅导和金融分析等领域展现了卓越的应用效果。在教育领域，它通过个性化学习工具、多模态处理能力和强大的推理能力，显著提升了教学质量和学习效率；
《DeepSeek-R1：使用说明译文》：此文为AI自动翻译
zheng_ruiguo的专栏
01-29 2497
DeepSeek-R1 在数学、代码和推理任务方面的性能可与 OpenAI-o1 相媲美。 为了支持研究社区，我们开源了 DeepSeek-R1-Zero、DeepSeek-R1 以及基于 Llama 和 Qwen 从 DeepSeek-R1 提炼出来的六个密集模型。DeepSeek-R1-Distill-Qwen-32B 在各种基准测试中都优于 OpenAI-o1-mini，为密集模型实现了新的先进结果。
【完整版】DeepSeek-R1大模型学习笔记（架构、训练、Infra、复现代码）
我的技术栈碎碎念空间
02-04 7569
MoE在每次推理时选择性地激活部分模型参数，在不成比例增加计算成本的情况下，可以扩展模型参数。在DeepSeek-V2中就提出了用于FFN层的DeepSeekMoE，DeepSeek-R1在DeepSeek-V2基础上进一步优化。
强化学习GRPO算法解读：大模型与小模型的不同选择
Androiddddd的博客
02-10 2198
GRPO 算法在 DeepSeek-R1 中的成功应用，为强化学习和大模型的发展开辟了新的路径。未来，强化学习在大模型领域有望取得更多令人瞩目的进展。一方面，在算法优化上，研究人员可能会进一步探索 GRPO 算法的变体或与其他更先进的技术，以进一步提升模型的推理能力，或结合多模态技术提升对真实世界的理解能力。同时，基础技术的发展与开源生态的完善，会吸引更多研究者加入，开拓更多创新研究和应用。最后， DeepSeek-R1对此点评（由DeepSeek-R1生成，博大家一笑）：“今有奇巧法，名曰众相较。
DeepSeek技术详解
lucky_kai的博客
02-21 736
DeepSeekMoE 通过细粒度专家划分、共享专家隔离和负载均衡机制，有效提升了模型的计算效率、减少了知识冗余，并确保了专家资源的合理分配。DeepSeekMoE在多个方面都对传统MoE进行了优化和改进，特别是在减少知识冗余、提高计算效率和参数利用、增强模型规模和扩展性以及提升参数共享和灵活性等方面表现出了显著的优势。通过将专家 FFN 拆分为 m 个更小的专家，DeepSeekMoE 增加了激活专家组合的灵活性，提升了知识的精准分配和专家的专业化。同时限制策略与参考模型的KL散度，避免过度偏离。
DeepSeek R1 对比 AlphaGo，Zero 的思考过程
AIBigModel的博客
01-27 1363
读完论文，其实我唯一的疑惑就是，不在600B这么大规格的模型上，而是在100B甚至更小的模型上，能否走通这个路线。不过不管怎么说，R1这篇论文都是对我的极大鼓舞，起码后面多了一个比较明确的尝试方向。
大模型训练概念介绍：蒸馏、SF、强化学习、涌现、顿悟
Learning
02-17 289
大模型训练概念介绍：蒸馏、SF、强化学习、涌现、顿悟
知识蒸馏 vs RLHF：目标函数与收敛分析
最新发布
weixin_41544125的博客
03-15 770
知识蒸馏适合需要快速压缩模型并保留教师模型性能的场景，目标函数明确，收敛速度较快。RLHF更适合需要对齐模型行为、优化生成质量的场景，但收敛速度和效果高度依赖于人类反馈的质量。根据具体需求选择合适的方法，例如在资源有限的情况下优先使用知识蒸馏，而在需要优化生成质量时优先使用 RLHF。
【Spark Mllib】TF-IDF&Word2Vec——文本相似度
热门推荐
06-21 2万+
一个比较通用的例子是使用单词的向量表示基于单词的含义计算两个单词的相似度。特征哈希通过使用哈希方程对特征赋予向量下标,这个向量下标是通过对特征的值做哈希得到的(通常是整数)。使用的哈希方程必须是一致的(就是说,对于一个给定的输入,每次返回相同的输出)。的含义是:在一个文档中出现次数很多的词相比出现次数少的词应该在词向量表示中得到更高的权值。最后的结果就是,稀有的或者重要的词被给予了更高的权值,而更加常用的单词(被认为比较不重要)则在考虑权重的时候有较小的影响。对于我们的任务来说,可以使用。
基于Spark的大数据精准营销中搜狗搜索引擎的用户画像挖掘
12-19 2万+
转载请注明：转载 from http://blog.csdn.net/u011239443/article/details/53735609 from CCF举办的“大数据精准营销中搜狗用户画像挖掘”竞赛 1. 选题背景与意义 1.1 用户画像与精准营销 “用户画像”是近几年诞生的名词。很多营销项目或很多广告主，在打算投放广告前，都要求媒体提供其用户画像。在以前，大多媒体会...
基于神经网络的文本特征提取——从词汇特征表示到文本向量
07-03 1万+
理解了基础的神经元模型，神经网络就很好理解了。神经元就像一块乐高积木，而神经网络就是搭的积木。如上图，xxx那一列，我们称为输入层，输出y\hat{y}y​那列称为输出层，中间那列称为隐藏层。隐藏层可以有多个，而且每个隐藏层有多少个神经元也都是可以自主调整的。经典的神经网络中，当前层的神经元会后后一层的各个神经元进行连接，这也称为全连接。
DeepSeek-R1-Zero RL
02-05
### DeepSeek-R1-Zero 强化学习 RL 介绍 #### 模型背景与发展历程 DeepSeek-R1-Zero 是一项大胆的实验成果，旨在探索仅依靠强化学习（RL）而无需任何初始监督微调（SFT）的情况下训练模型的可能性。这种设计打破了传统的依赖大量标注数据来提升模型性能的做法[^1]。 #### 训练机制概述 研究显示，大规模强化学习可以显著提高模型的推理能力，即使是在没有任何监督微调的前提下也能实现有效的冷启动。对于 DeepSeek-R1-Zero 而言，其核心在于直接基于基础架构实施强化学习算法，从而让模型能够自主地优化决策过程并逐步改善自身的预测精度[^2]。 #### 关键技术要素 - **无监督预热阶段**：完全跳过了传统意义上的监督式预训练环节； - **纯RL驱动的学习路径**：利用环境反馈信号指导参数调整方向； - **GRPO 算法框架**：采用特定于任务需求定制化的数学结构支持整个训练流程； ```python import gymnasium as gym from stable_baselines3 import PPO, A2C env = gym.make('CartPole-v1') model = PPO('MlpPolicy', env) def train_model(model, timesteps=10_000): model.learn(total_timesteps=timesteps) train_model(model) ``` 此代码片段展示了如何使用 Python 和 Stable Baselines 库中的代理程序（如 PPO 或者 A2C），在一个简单的 Gym 环境下执行类似的强化学习策略。这只是一个简化版的例子用于说明目的，在实际应用中 DeepSeek-R1-Zero 将涉及更复杂的场景和更高维度的状态空间处理逻辑。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小爷毛毛（卓寿杰）

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值