【DeepSeek 从入门到精通】DeepSeek 实现核心原理之： GRPO 算法

最新推荐文章于 2025-03-13 08:00:00 发布
最新推荐文章于 2025-03-13 08:00:00 发布
阅读量1.7k 收藏 4
点赞数 22
分类专栏： AI大模型原生应用开发与大数据云计算架构 计算 ChatGPT 文章标签： DeepSeek
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/universsky2015/article/details/145550593
版权

paper: https://arxiv.org/pdf/2402.03300

目录

算法定义

核心思想

与PPO的区别

策略更新

价值评估

约束条件

适用场景

目标函数

优势函数计算

KL散度约束

查询选择

响应生成

优势计算

策略更新

模型架构

训练流程

性能提升

训练效率

推理能力

泛化性能

算法定义

在大语言模型(LLM)的强化学习微调阶段，Group Relative Policy Optimization (GRPO)算法作为一种创新方法崭露头角。GRPO是一种在线学习算法，其核心思想是通过评估一组响应之间的相对关系来优化模型，而不是依赖外部评估者。这种方法显著提高了训练效率，特别适用于需要复杂问题解决和长链思维的推理任务。

GRPO算法的主要特点包括：

  1. 组抽样 ：对于给定状态，使

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Deepseek 在手机上应用会带来哪些影响？
百态老人的博客
01-28 1196
DeepSeek在手机上的应用不仅提升了信息检索效率、优化了用户体验，并且通过多模态输入、智能对话等功能满足了用户多样化的使用需求。同时，其在移动办公、学习和社交领域的广泛应用也展现了AI技术在日常生活中的巨大潜力。然而，在追求快速发展的同时，DeepSeek仍需关注产品的稳定性和安全性，以持续巩固其市场地位。
【人工智能】你知道什么是DeepSeek吗？你有去了解过DeepSeek吗？新手要入门DeepSeek的必经之路——初识DeepSeek
蒙奇D索大的博客
02-11 1656
【人工智能】初识DeepSeek 详细介绍DeepSeek以及DeepSeek-R1
DeepSeek-R1-GRPO理解
热门推荐
yaohaishen的专栏
01-21 1万+
例如数学问题求解、代码生成、逻辑推理等。
DeepSeek技术对国家与个人的深远影响
萧鼎的博客
02-10 1474
DeepSeek是一种基于深度学习和自然语言处理（NLP）的AI技术，旨在通过大规模数据训练，实现对复杂信息的深度理解和智能处理。深度学习：通过多层神经网络模拟人脑的学习过程，实现对复杂数据的特征提取和模式识别。自然语言处理：使计算机能够理解、生成和处理人类语言，实现人机交互的智能化。大数据分析：通过对海量数据的分析和挖掘，发现隐藏的规律和趋势，为决策提供支持。
天津大学|DeepSeek指南《深度解读DeepSeek：原理与效应》
xuxinyang100的专栏
03-13 447
这些企业通过将DeepSeek技术应用于不同的行业场景，不仅提升了自身的竞争力，也为整个社会的经济发展注入了新的活力。总的来说，天津大学的这篇文章通过对DeepSeek技术的深度解读，不仅揭示了其强大的技术原理和应用效应，也为未来的技术发展提供了宝贵的思路和建议。DeepSeek作为一种具有革命性意义的技术，其潜力和前景无疑是巨大的，但同时也需要在技术伦理和社会责任方面进行更多的思考和探索。文章呼吁在推动技术发展的同时，应加强对这些问题的研究和规范，确保DeepSeek技术的健康发展。
DeepSeek 学习 书籍及视频
青少年趣味编程
02-28 1119
DeepSeek 学习 书籍及视频
DeepSeek-R1的内部实现分析
Yuperman的专栏
02-28 326
DeepSeek-R1 并不是从零开始训练的。它从一个比较强大LLM （DeepSeek-V3-base）开始，进而成为一个推理大模型。为了做到这一点，使用了强化学习（RL），当 LLM 做了一些有益于推理的事情时，进行奖励，否则进行惩罚。但这不仅仅是一次简单的训练，而是一系列阶段，称之为流水线。首先尝试纯 RL，看看推理是否会是否可行，这是 DeepSeek-R1-Zero，有点像一个实验。
DeepSeek-GRPO
liuhe2296044的博客
03-05 670
per_token_logs和old_per_token_logps都是softmax再取log后得到的，每个元素都是负数，现在相减再e的对数，也就是原来的值相除，对应公式中。一个prompt采样多个output然后给不同的output不同的权重（advantage），提出一个新的token级别loss。②为什么πold用self.model生成，π也用self.model生成（ 这不都是基线+lora吗）？v3的时候，rewardmodel还是一个Learn出来的模型，到r1的时候就已经是一套规则了。
论文阅读之DeepSeek-Coder-V2 Breaking the Barrier of Closed-Source Models in Code Intelligence
David_house的博客
08-26 1842
介绍了一种开源专家混合 (MoE) 代码语言模型——DeepSeek-Coder-V2 特点：- 基于DeepSeek-V2 的中间检查点进一步预训练的，相比较于 DeepSeek-V2 ，其**编码**和**数学推理能力**更强，同时保持了通用语言任务中相当的性能 - 对编程语言的支持种类从 86 扩展到 338，同时上下文长度从 16K 扩展到 128K - 在标准基准评估中，DeepSeek-Coder-V2 在编码和数学基准测试中与 GPT4-Turbo、Claude
Deepseek系列产品介绍
liuzixuan2010的博客
02-22 3064
简单介绍了deepseek产品系列和v3，R1技术报告
大模型/ChatGPT/AIGC、论文审稿、具身智能、RAG等11大系列集锦
2401_86435672的博客
09-26 1692
学术论文GPT的源码解读与二次开发：从ChatPaper到gpt_academic// 待更…
少儿编程scratch项目源代码文件案例素材-岩浆生存 双人游戏.zip
04-29
少儿编程scratch项目源代码文件案例素材-岩浆生存 双人游戏.zip
2024安全行业大模型技术应用态势发展报告-中国通信标准化协会.pdf
04-29
2024安全行业大模型技术应用态势发展报告-中国通信标准化协会
scratch少儿编程逻辑思维游戏源码-海上遭遇.zip
04-29
scratch少儿编程逻辑思维游戏源码-海上遭遇.zip
少儿编程scratch项目源代码文件案例素材-羊羊繁殖V1.zip
04-29
少儿编程scratch项目源代码文件案例素材-羊羊繁殖V1.zip
通信行业：“数据要素X”三年行动规划，面向应用场景挖掘数据价值.pdf
04-29
通信行业：“数据要素X”三年行动规划，面向应用场景挖掘数据价值
【汽车电子电气架构】数据连接性与云集成在智能汽车EEA升级中的关键作用及应用案例分析
最新发布
04-29
内容概要：文章详细探讨了数据连接性和云集成在增强汽车电子电气架构（EEA）方面的重要作用。首先介绍了从分布式到集中式架构的技术演进，解释了域集中式和中央集中式架构的优势，如远程软件升级（OTA）、软硬件解耦等。其次，阐述了云平台在远程软件更新、数据存储与分析等方面的支持作用。接着，强调了数据连接性在实时通信、低延迟决策、多模态传感器融合以及工业物联网集成中的核心作用。此外，讨论了云集成在个性化服务、AI助手、自动驾驶训练与仿真、预测性维护等方面的应用。最后，分析了市场需求与政策支持对这一领域的影响，并展望了未来的发展趋势，如5G-A/6G、边缘计算与AI大模型的融合。 适用人群：汽车电子工程师、智能网联汽车行业从业者及相关领域的研究者。 使用场景及目标：①理解汽车电子电气架构从分布式到集中式的演进过程及其带来的优势；②掌握数据连接性和云集成在提升车辆智能化水平的具体应用和技术细节；③了解相关政策法规对智能网联汽车发展的支持与规范；④探索未来技术发展趋势及其可能带来的变革。 其他说明：本文不仅提供了技术层面的深入解析，还结合了实际应用案例，如特斯拉、蔚来、中联重科、约翰迪尔等企业的实践成果，有助于读者全面理解数据连接性和云集成在现代汽车工业中的重要地位。同时，文中提及的政策法规也为行业发展指明了方向。
少儿编程scratch项目源代码文件案例素材-消灭病毒大作战.zip
04-29
少儿编程scratch项目源代码文件案例素材-消灭病毒大作战.zip
DeepSeek从入门到精通 Deepseek
02-15
### DeepSeek入门到精通教程 #### 获取资源途径 对于希望深入学习DeepSeek的人来说，存在多种渠道可以获得所需的学习资料。通过网盘链接可以直接访问《DeepSeek入门到精通指导手册》，这是一份详尽的手册，涵盖了从基础概念理解至高级应用实践的内容[^1]。 #### 关注官方账号获取最新资讯 除了在线文档外，还可以通过关注特定的微信公众号来获得最新的学习材料和技术支持。例如，“Python技术极客”提供了名为《DeepSeek 15天指导手册 - 从入门到精通》的新手教程下载服务，只需发送关键词“DeepSeek”，就能轻松取得这份宝贵的参考资料[^2]。 #### 掌握核心技能 为了更好地利用DeepSeek解决实际问题，了解其背后的技术原理至关重要。特别是关于如何在有限的数据集条件下提升模型表现这一点，《DeepSeek从入门到精通：全面掌握AI大模型的核心能力》一文中提到，该平台采用了先进的强化学习算法优化了多个领域内的任务处理效率，如数学计算、编程以及自然语言处理等方面的工作流程[^3]。 #### 利用学术资源深化理解 针对那些渴望更深层次探索DeepSeek特性的学者们来说，来自清华大学的研究小组编制了一份长达104页的教学幻灯片(PDF)，它不仅适合初学者逐步建立基础知识体系，同时也为有经验用户提供了一条通往更高层次使用的路径[^4]。 ```python # 示例代码展示如何加载并初始化一个简单的DeepSeek实例 from deepseek import create_model model = create_model() print(model.summary()) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

AI天才研究院

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值