PG，TRPO,PPO,GRPO,DPO原理梳理

最新推荐文章于 2025-05-21 20:01:52 发布
最新推荐文章于 2025-05-21 20:01:52 发布
阅读量969 收藏 16
点赞数 20
分类专栏： LLM 文章标签： 人工智能 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43814415/article/details/147352564
版权

强化学习方法的分类

在这里插入图片描述

一、基础概念

  1. Policy Model（Actor Model）：根据输入文本，预测下一个token的概率分布，输出下一个token也即Policy模型的“动作”。该模型需要训练，是我们最终得到的模型，并由上一步的SFT初始化而来。

  2. Value Model（Critic Model）：用于预估当前模型回复的每一个token的收益。接着，还会进一步计算累积收益，累加每一个token的收益时不仅局限于当前token的质量，还需要衡量当前token对后续tokens生成的影响。这个累积收益一般是称为优势，用于衡量当前动作的好坏，也即模型本次回复的好坏，计算的方法一般使用GAE(广义优势估计，generalized advantage estimation)）该模型同样需要训练

  3. Reward Model：对Policy Model的输出整体进行打分，评估模型对于当前输出的即时收益。该模型训练过程不进行更新。

  4. Reference Model：与 Policy Model是一样的模型，但在训练过程中不进行更新。其作用主要是与Policy Model计算KL散度（可以理解为两者的预测token概率分布差距）来作为约束，防止PolicyModel在更新过程中出现过大偏差，即每一次参数更新不要与Reference Model相差过于大。

二、PG（策略梯度）

策略梯度方法的核心思想是直接对策略函数（policy function）进行参数化，通过梯度上升（gradient ascent）的方法来优化策略参数，使得智能体在环境中获得的累积奖励最大化。

三、TRPO（Trust Region Policy Optimization）

在PG的基础上，加上了与参考模型的约束，限制策略的更新幅度。

优势函数 A(s,a) 衡量了在状态 s 下采取动作 a 相比于按照当前策略平均表现所能获得的额外奖励。
在这里插入图片描述

1.TRPO 在优化策略时加入了约束条件，即要求新旧策略之间的 KL 散度（衡量两个概率分布差异的指标）不超过某个阈值。

2.TRPO 的优化目标是在满足 KL 散度约束的条件下，最大化策略在优势函数下的期望值。它尝试在策略改进和策略变化幅度之间找到一个平衡，既让策略能够朝着获得更高奖励的方向更新，又不至于因更新幅度过大而破坏了策略的稳定性。

四、PPO（Proximal Policy Optimization）

在这里插入图片描述
PPO 的核心思想是在策略更新时，限制新旧策略之间的差异，防止更新幅度过大导致策略性能不稳定。为此，它提出了两种实现方式：PPO-penalty 和 PPO-clip。

PPO-penalty：在目标函数中添加了一个惩罚项，该惩罚项基于新旧策略之间的KL散度。
PPO-clip：对策略比率 进行裁剪，使其在 [1 - ϵ, 1 + ϵ] 范围内。这样可以限制新策略与旧策略的偏离程度，避免更新幅度过大。

TRPO 通过严格的数学推导来保证策略更新的稳定性，但其实现较为复杂，计算成本较高。因为不知道下一步的策略到底是什么。

PPO 则在保证策略更新稳定性的基础上，通过更简单的方式（惩罚项或裁剪策略比率）实现了类似的效果，同时提高了算法的效率和易用性。

4.1 流程

在这里插入图片描述

  1. 采样动作：在当前状态sₜ下（即未更新前的策略模型π旧和价值模型V旧），对一个样本的提示q，使用策略模型（Actor Model）进行一次采样生成动作aₜ，即一次“动作”。

  2. 计算即时奖励：使用奖励模型计算动作aₜ的分数，同时计算参考模型与当前策略模型的KL散度，将两者结合起来作为即时奖励r。

  3. 计算当前收益：使用价值模型（Critic Model）来计算每一个token的收益，记为V旧。

  4. 计算优势A：根据即时奖励和后续tokens的分数影响，计算本次采样的优势（累积收益）。优势A结合了当前token的分数和后续tokens的影响。

  5. 策略更新比例：策略模型对q进行一次新的生成π(aₜ|sₜ)，计算与旧策略π旧相比的更新比例：rₜ(θ)=π(aₜ|sₜ)/π旧(aₜ|sₜ)。

  6. 调整更新比例：当优势A>0时，表示本次采样的动作是正收益的（质量较好），尽量提升rₜ(θ)；反之当A<0时，尽量降低rₜ(θ)。

  7. 裁剪更新比例：为了避免训练不稳定，对rₜ(θ)进行裁剪，上下限控制在一个合理范围内（类似梯度裁剪）：Lclip(πθ)=E[min(rₜ(θ)Aₜ,clip(rₜ(θ),1−ε,1+ε)Aₜ)]。

  8. 更新值函数：价值模型对新的采样π(aₜ|sₜ)进行价值评估V新，并使其尽量靠近参考奖励R=A+V旧。同样进行裁剪：L(Vφ)=E[max[(V新−R)², (clip(V新,V旧−ε,V旧+ε)−R)²]]。

  9. 更新模型：使用两个损失函数分别更新策略模型πθ和价值模型Vφ。

  10. 完成本轮训练：循环步骤5-9，完成本轮PPO训练：用新的策略模型和价值模型替换旧的，即π旧←πθ，V旧←V新。

  11. 进入下一批次训练：使用更新后的策略模型和价值模型开始下一批次的训练。

4.2 广义优势估计（GAE）

在这里插入图片描述
在估计下一步策略时，并不知道下一步到底是什么，目前有蒙特卡洛和时序差分方法，前者对每一步进行模拟，后者走一步看一步。
在这里插入图片描述
GAE通过引入参数 λ，将不同步数的优势估计进行加权求和，从而在方差和偏差之间取得平衡。当 λ=0 时，GAE退化为单步时序差分估计；当 λ→1 时，GAE接近蒙特卡洛估计。通过调整 λ 的值，可以在降低方差和增加偏差之间进行权衡。

在这里插入图片描述

4.3 RM的训练

在这里插入图片描述

五、GRPO（Group Relative Policy Optimization）

GRPO 的核心思想是通过组内相对奖励来估计基线（baseline），从而避免使用额外的价值函数模型。

在这里插入图片描述
策略函数跟PPO-clip一样。

5.1 流程

在这里插入图片描述
1.对一个样本的Prompt q，使用Policy Model进行G次生成

2.同样地,也进行G次生成，与Policy Model进行KL散度计算，KL散度可以理解为两者的预测token概率分布差距，跟其他方法都是类似作用，避免Policy Model训练不稳定

3.再使用Reward Model对Policy Model的这G次生成进行打分。参考DeepSeek-R1的做法，甚至可以不需要Reward Model，只需要奖励函数，比如代码问题，可以根据模型生成的代码是否能够运行，有标准答案的数学问题，从模型的生成中提取的答案是否正确，来给予一定的奖励分数

4.最后平均的KL散度和奖励分数作为Loss去更新Policy Model

六、DPO（Direct Preference Optimization）

在这里插入图片描述

  • 训练数据是与上述奖励模型一样的偏好对数据。
  • Policy Model的目标是尽量拉开chosen(preferred)样本与rejected(dispreferred)样本的token概率差距。
  • 同时Policy Model的概率差距与Reference Model的概率差距不要太过于大，避免训练不稳定。
  • Policy Model在DPO中，其实也是充当了Reward Model的角色，概率差可以认为是对应的应得奖励收益。

在这里插入图片描述

参考文献

【【大白话04】一文理清强化学习PPO和GRPO算法流程 | 原理图解】 https://www.bilibili.com/video/BV15cZYYvEhz/?share_source=copy_web&vd_source=29af710704ae24d166ca951b4c167d53
https://blog.csdn.net/Ever_____/article/details/139304624
https://mp.weixin.qq.com/s/UClxnbCMKP8IRa0OMWPPtw

强化学习学习之：TRPO，PPO 算法
强化学习曾小健
12-30 1005
然后第三部，也就是PPO进来的时候了，在第三步骤中，我们需要把优化好的reward模型结合LLM 进行PPO fine-tuning, 这个步骤应该说是基于一个高质量的reward模型对LLM 也就是我们的policy maker进行打分，从而强化LLM （也就是 policy的输出质量）。总之，TRPO 为策略优化提供了一个稳健的框架，通过管理每次更新期间允许策略改变的程度，帮助稳定训练过程并改善基于策略的方法在强化学习中的收敛性。- 重复收集数据和更新策略的过程，直到收敛或达到满意的性能水平。
强化学习:TRPO,PPO,GRPO算法（一文深度解析deepseek中的强化学习算法）——手把手教你入门强化学习(九)
wxchyy的博客
03-17 2409
在上期我们介绍了策略梯度（PG算法），这期我们将继续深入PG算法，从TPRO、PPO，到最后最近大火的deepseek中的强化学习算法GPRO。这期我们从TRPO入手，讲了KL散度约束以及在约束下，最大期望优势函数，之后PPO在TRPO的基础上，采用了剪裁概率，进行了计算复杂度的改进，以及引入可自适应的KL惩罚，在这基础之上，GRPO通过组相对策略优化，直接消除了价值函数。希望本文能帮助你自然地理解 TRPO，PPO 以及 GRPO。
强化学习-解惑？① 一般强化学习的value model 是不是就是Actor-critic的 Critic呢② 那么V(s)和 Q(s,a)区别是啥呢
To be a better man
03-28 362
在强化学习中通常指代用来估计状态或动作的价值函数的部分。在方法中，Critic计算并提供这些价值函数的估计，评估当前策略的好坏。因此，可以说Critic就是强化学习中的，它的主要任务是提供一个估值机制，用来指导Actor改进策略。
强化学习（9）：TRPO、PPO以及DPPO算法
热门推荐
zuzhiang的博客
12-22 1万+
本文主要讲解有关 TRPO算法、PPO 算法、PPO2算法以及 DPPO 算法的相关内容。 一、PPO 算法 PPO（Proximal Policy Optimization） 是一种解决 PG 算法中学习率不好确定的问题的算法，因为如果学习率过大，则学出来的策略不易收敛， 反之，如果学习率太小，则会花费较长的时间。PPO 算法利用新策略和旧策略的比例，从而限制了新策略的更新幅度，让 PG 算...
策略梯度优化之TRPO/PPO/AC/A2C/GRPO
weixin_36378508的博客
02-08 1306
前文讲到，神经网络训练时，需要的数据是独立同分布的，为了打破数据之间的相关性，DQN和DDPG的方法都采用了经验回放的技巧。然而经验回放需要大量的内存，打破数据的相关性，经验回放并非是唯一的方法。对于每个回合内的每个t，我们都算一下新策略和旧策略的KL散度，这样可以确保搜索参数的区域小，在比回合更小的粒度（iteration粒度）上调整策略。这是因为我们对于输入的同一个状况，由于输出要具有一定随机性的存在，那么其实这些所有可能所能获得的Reward的平均值就是Vθ，这就是Critic的含义。
DPPO算法（顺便对比PG、TRPO、PPO、PPO2以及A3C算法）
qq_43703185的博客
05-12 5071
强化学习（9）：TRPO、PPO以及DPPO算法：https://blog.csdn.net/zuzhiang/article/details/103650805 DPPO深度强化学习算法实现思路(分布式多进程加速)： https://blog.csdn.net/weixin_43145941/article/details/116764574 [DPPO]:再看我的影分身之术（附代码及代码分析）：https://zhuanlan.zhihu.com/p/111346592 PPO TRPO PPO（P
强化学习PPO算法
weixin_42072959的博客
01-02 852
大模型后训练需要用到人类反馈强化学习RLHF，该方法使用PPO算法结合奖励函数实现对LLM的微调，后来出现了DPO算法，即"直接偏好优化"算法，可以直接使用偏好数据对SFT之后的LLM模型进行训练，实现与PPO+Reward同样的效果， 这里的Reward主要指的是结果监督奖励函数，即对LLM输出的整个句子给与一个奖励值，以此引导PPO对LLM的训练优化方向。
LLM基础学习05：TRPO/PPO/DPO理论解析及基于GRPO训练的Qwen2.5-1.5B-Instruct在GSM8K上的效果验证
ElysiaCoding的博客
03-09 714
TRPO前的部分为学习【王树森】深度强化学习(DRL)的简要笔记（基本就是课程关键信息截图）（课程github），前面的部分都非常简要，从PPO开始的部分才是学习原论文的详细笔记。学习过程中的一些基础代码则是基于Huggingface Deep RL Course（本文不涉及关于强化学习具体代码的实现）。最后的DeepSeek GRPO代码则是基于开源的别人的复现整了一个低配运行版本来进行分析。另外，DLC中进行了更多的实验，发现效果这个GRPO的效果非常的好！！！本文的所有代码都放在了仓库Basic-LL
为什么要GRPO？
u012374012的专栏
04-16 656
本文主要跟大家梳理 LLM 强化学习算法演进之路： MC→TD→Q-Learning→DQN→PG→AC→TRPO→PPO→DPO→GRPO。 Q 值：代表智能体选择某个动作后，一直到最终状态奖励总和的期望， Q 值评价动作。 V 值：代表智能体在这个状态下，一直到最终状态的奖励总和的期望，V 值评价状态。 如何在不知道真实环境分布的情况下估算 V 值，已经诞生了多种方法，大体归纳为基于价值、基于策略两种： 代表：MC（Monte-Car
Baklib赋能企业知识资产AI化升级
weixin_51374429的博客
05-18 1791
Baklib作为AI驱动的一站式知识中台，深度融合大数据与智能技术，助力企业实现知识资产数字化升级。通过构建安全可控的多语言知识库体系，帮助百度、京东等500强企业激活沉睡数据，提升60%AI数据准备效率，实现内容智能管理、多场景输出及业务创新，打造可视化AI Ready知识引擎，加速数字化转型进程。
垂直智能体：企业AI落地的正确打开方式
chainso23的博客
05-18 1501
在一次重大投资决策中，这个智能体通过详细的财务模型和风险分析，帮助企业识别了原计划中被忽视的潜在风险，优化了投资策略，最终实现了比预期高的投资回报。上述企业管理与运营领域的成功案例清晰地表明，真正有价值的智能体不是简单地调用模型或拼凑功能，而是通过深度融合领域知识、专业流程和企业特定数据，形成清晰的内部逻辑，最终成为企业决策和运营的可靠助手。高效的垂直智能体需要具备强大的任务记忆能力，能够在多轮交互中保持上下文理解，记住用户的需求和偏好，避免重复询问或提供不一致的回答。
ROS2使用yoloV12，V11，V10，V9，V8，V5等
qq_35598561的博客
05-19 689
ROS2使用yoloV12，V11，V10，V9，V8，V5等
《Python星球日记》 第95天：分布式训练与推理
Code_流苏：在代码中寻诗意，在实践中觅真知
05-19 1370
《Python星球日记》 第95天：分布式训练与推理，今天，我们将探索分布式训练与推理技术，这是解决大规模AI模型训练和部署挑战的关键方法
马尔可夫链（AI、ML）：逻辑与数学的交汇
项目git同名小胡说技书
05-20 976
# 马尔可夫链摘要 马尔可夫链是一种随机过程，其核心特性为"无记忆性"：系统的未来状态仅依赖于当前状态，而与历史路径无关。通过状态空间和转移概率矩阵，马尔可夫链能够描述系统如何从一个状态变化到另一个状态。这一理论广泛应用于人工智能、自然语言处理和蒙特卡洛方法中。从逻辑学角度看，马尔可夫链体现了确定性规则与不确定性结果的结合，为复杂系统分析提供了强大工具，展示了概率论与逻辑学的深度融合。
飞致云旗下开源项目GitHub Star总数突破150,000个
FIT2CLOUD飞致云的博客
05-20 565
在开源的道路上，我们与用户、与客户共成长。
常见的几种多智能体强化学习算法
再来一下！
05-21 223
多智能体强化学习（Multi-Agent Reinforcement Learning, MARL，旨在解决多个智能体在共享环境中通过与环境和其他智能体交互来学习最优策略的问题。
AI智能分析网关V4烟火检测算法：全功能覆盖，守护工厂/商场/学校等场景消防安全
NVR安防视频技术
05-19 965
随着社会经济发展，频发的火灾事故严重威胁公共与财产安全。传统火灾检测手段存在响应慢、误报高、适应性差等问题，难以满足复杂场景需求。
origin绘图之【如何将横坐标/x设置为文字、字母形式】
最新发布
A2457003982的博客
05-21 270
在科研绘图或数据可视化中，使用Origin时，用户常需将X轴从数字改为字母或中文文字，以适用于实验分组、类别分析等场景。然而，直接替换可能导致图像无法显示或X轴标签缺失。解决此问题的关键在于正确设置X轴的刻度范围。首先，准备包含文字标签的数据，并选择折线图进行绘制。若图像未显示，需调整X轴的起始和结束值，通常起始值设为0，结束值为类别数量加0.5或1。通过此方法，可确保图形完整显示，X轴标签正确排列。此技巧在科研图表绘制中极为实用，尤其适用于分组实验和分类分析。
ppo DPO GRPO
02-22
### PPO、DPO 和 GRPO 算法的区别与联系 #### Proximal Policy Optimization (PPO) Proximal Policy Optimization 是一种强化学习方法，旨在通过引入信任区域来稳定策略更新过程。该算法利用剪切函数限制新旧策略之间的差异，从而防止参数更新过大导致性能下降。PPO 结合了 TRPO 的稳定性以及简单易实现的特点，在实践中表现出良好的收敛速度和鲁棒性[^1]。 ```python def ppo_update(policy_net, old_policy_net, optimizer, states, actions, rewards): advantages = compute_advantages(states, rewards) for _ in range(update_epochs): new_log_probs = policy_net.log_prob(actions) old_log_probs = old_policy_net.log_prob(actions).detach() ratio = torch.exp(new_log_probs - old_log_probs) surr1 = ratio * advantages surr2 = torch.clamp(ratio, 1.0 - clip_param, 1.0 + clip_param) * advantages loss = -torch.min(surr1, surr2).mean() optimizer.zero_grad() loss.backward() optimizer.step() ``` #### Direct Preference Optimization (DPO) Direct Preference Optimization 则是从人类反馈中直接优化模型的行为分布，而不需要显式的奖励信号。这种方法能够更高效地利用少量高质量的人类评价数据，并且可以避免传统基于奖励塑造的方法所带来的偏差问题。DPO 使用对比损失函数训练模型以最大化所选行为序列相对于未选行为的概率比值。 ```python def dpo_loss(selected_seq_logits, unselected_seq_logits): logits_diff = selected_seq_logits - unselected_seq_logits losses = F.softplus(-logits_diff) return losses.mean() for epoch in range(num_epochs): for batch in data_loader: selected_seq_logits, unselected_seq_logits = model(batch) loss = dpo_loss(selected_seq_logits, unselected_seq_logits) optimizer.zero_grad() loss.backward() optimizer.step() ``` #### Gradient Ratio Policy Optimization (GRPO) Gradient Ratio Policy Optimization 提出了调整正负梯度系数的概念，实验结果显示这能显著提升在线环境下的表现。特别是当采用细粒度步长感知型梯度比率时（即 GRPO+PS），其效果要好于仅考虑整体比例的情况（如 GRPO+OS）。这种机制允许更加灵活地控制不同阶段的学习速率变化趋势，有助于提高最终决策质量[^2]。 ```python class GRPOTrainer: def __init__(self, ...): self.positive_coefficient = ... self.negative_coefficient = ... def update(self, positive_gradients, negative_gradients): adjusted_positive_grads = positive_gradients * self.positive_coefficient adjusted_negative_grads = negative_gradients * self.negative_coefficient final_gradients = adjusted_positive_grads - adjusted_negative_grads apply_gradients(final_gradients) ``` 综上所述，虽然三种算法都属于强化学习领域内的改进方案，但各自侧重点有所不同：PPO 关注如何平稳有效地完成单次迭代；DPO 注重从有限数量的偏好样本里提取有用信息来进行指导；GRPO 则探索了动态调节梯度权重对于加速收敛的作用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

灵海之森

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值