强化学习的优化策略PPO和DPO详解并分析异同

已于 2024-08-19 17:42:17 修改
阅读量1.4w 收藏 63
点赞数 32
文章标签： 人工智能
于 2023-12-29 11:43:17 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baoyan2015/article/details/135287298
版权

目录

1、PPO（Proximal Policy Optimization）

工作原理

实现步骤

2、DPO (Direct Preference Optimization) 

3、DPO（Distributed Proximal Policy Optimization）

工作原理

实现步骤

4、强化学习中的PPO和DPO的异同

相同点

不同点

Proximal Policy Optimization (PPO) Algorithm Diagram

PPO Algorithm Overview

PPO Algorithm Details

PPO Algorithm Implementation

Sources

Direct Preference Optimization (DPO) Algorithm Diagram

DPO Algorithm Overview

DPO Algorithm Details

DPO Algorithm Implementation

Sources

1、PPO（Proximal Policy Optimization）

工作原理
  1. 目标函数：PPO旨在通过最大化特定的目标函数来改进策略。这个目标函数通常包括一个期望回报的项，以及可能的正则化项（如熵）来鼓励探索。
  2. 概率比率剪切：PPO使用了一种称为概率比率剪切的技术，这涉及到计算新策略和旧策略对动作概率的比率。如果这个比率偏离1太远，PPO会通过剪切这个比率来限制更新的幅度，从而避免过大的策略变动。
  3. 目标函数的优化：PPO对目标函数进行优化，通常使用随机梯度上升方法。这个过程涉及到在策略网络参数上应用梯度更新，以增加高回报动作的概率，同时减少低回报动作的概率。
  4. 多次迭代更新：PPO算法通常在一次策略更新中使用多个迭代，这意味着它会重复利用同一批数据多次，以进行有效的学习。
实现步骤
  1. 收集数据：首先，使用当前策略在环境中执行多个动作，收集状态、动作和回报的数据。
  2. 计算优势函数：然后，计算每个时间步的优势函数，这通常涉及到对回报的估计和基线（比如状态价值函数）的使用。
  3. 优化策略：接着，通过优化目标函数来更新策略参数。这个过程包括计算目标函数的梯度，并使用梯度上升来更新参数。
  4. 重复迭代：重复上述过程多次，直到策略收敛或达到预定的迭代次数。

加载4个模型，2个推理，2个训练

  • Actor Model：演员模型，想要训练的目标语言模型

  • Critic Model：评论家模型，它的作用是预估总收益

  • Reward Model：奖励模型，它的作用是计算即时收益

  • Reference Model：参考模型，它的作用是在RLHF阶段给语言模型增加一些“约束”，防止语言模型训歪（朝不受控制的方向更新，效果可能越来越差）

其中:

  • Actor/Critic Model在RLHF阶段是需要训练的；而Reward/Reference Model是参数冻结的。

  • Critic/Reward/Reference Model共同组成了一个“奖励-loss”计算体系，我们综合它们的结果计算loss，用于更新Actor和Critic Model

2、DPO (Direct Preference Optimization) 

DPO是一种相对较新的方法，它直接优化用户或专家的偏好，而非传统的累积奖励。在DPO中，通过对比不同的决策序列或策略，并根据用户或专家的偏好来优化模型，使得最终的策略能够更好地符合预期的行为。DPO通常用于那些难以明确定义奖励函数的场景，或者在用户偏好需要直接编码到决策过程中的应用中。

DPO的实现需要构建一个偏好模型，该模型能够从用户或专家的反馈中学习。在实际应用中，可能需要设计一种机制来收集用户的偏好数据，例如通过对比查询或者排名反馈。然后使用这些数据来训练一个或多个模型，这些模型能够预测给定决策序列的偏好得分，并据此来优化策略。

只需要加载2个模型，其中一个推理，另外一个训练，直接在偏好数据上进行训练。

3、DPPO（Distributed Proximal Policy Optimization）

工作原理
  1. 分布式架构：DPPO在多个计算节点上并行运行，每个节点都有自己的一份策略副本，并在各自的环境实例中收集数据。
  2. 数据同步：在一定时间步或者周期之后，各个节点会将它们收集到的数据（如梯度信息或者策略更新）发送给中心节点。
  3. 中心化更新：中心节点会聚合这些数据，并进行策略更新。更新后的策略参数随后会被分发回各个计算节点。
  4. 并行化探索：由于每个节点可以独立探索不同的状态空间区域，DPO能够更加高效地进行探索和利用，从而加快学习过程。
实现步骤
  1. 分配任务：将并行任务分配到多个计算节点。
  2. 局部数据收集：各个节点独立执行策略，收集状态、动作和回报等数据。
  3. 局部梯度计算：每个节点计算其收集数据的梯度或参数更新。
  4. 全局同步：所有节点将梯度或参数更新发送到中心节点进行聚合。
  5. 策略更新和分发：中心节点更新策略参数后，将新的策略分发给所有节点。
  6. 重复迭代：重复上述过程，直到策略收敛或达到预定的迭代次数。

总结来说，PPO专注于通过剪切概率比率来稳定策略更新，而DPPO在此基础上引入分布式计算，以提高数据收集和处理的效率，加快学习速度。

4、强化学习中的PPO和DPPO的异同

相同点
  1. 基于策略梯度：PPO（Proximal Policy Optimization）和DPPO（Distributed Proximal Policy Optimization）都是基于策略梯度的强化学习算法，它们通过优化策略函数来直接学习一个策略，该策略能够映射观察到的状态到动作的概率分布。
  2. 目标函数：两者都使用了类似的目标函数来优化策略，即通过最大化期望的回报来进行学习。
  3. 剪切或限制策略更新：PPO和DPPO都采用了一种机制来避免在策略更新时做出过大的改变，从而保持学习的稳定性。PPO通过剪切概率比率或使用KL散度限制，而DPPO也可能采用类似的策略来限制分布式训练中的策略更新。
不同点
  1. 分布式训练：DPPO的“Distributed”指的是它被设计为在分布式计算环境中运行，可以在多个处理器或机器上并行执行，而PPO通常指单机版本的算法。
  2. 扩展性和并行化：由于DPPO是为分布式环境设计的，它在处理大规模并行化训练任务时具有更好的扩展性，而PPO则在这方面可能受到限制。
  3. 通信和同步：在分布式设置中，DPPO需要有效的通信和同步机制来保证多个训练节点之间的协调，这是PPO在单机设置中不需要考虑的问题。
  4. 资源利用和效率：DPPO通常能更有效地利用多核处理器或多台机器的计算资源，从而在实际应用中可能获得更快的训练速度和更好的性能。

总结来说，PPO和DPPO在算法框架和目标函数上有共同之处，但在实现方式、并行化程度以及适用的计算环境上存在差异，DPPO特别适用于需要大规模并行处理的场景。

Proximal Policy Optimization (PPO) Algorithm Diagram

PPO Algorithm Overview

Proximal Policy Optimization (PPO) is a type of reinforcement learning algorithm developed by OpenAI. It is designed to perform comparably or better than state-of-the-art approaches while being much simpler to implement and tune. PPO has become a default reinforcement learning algorithm at OpenAI due to its ease of use and good performance.

PPO Algorithm Details

PPO works by trying to compute an update at each step that minimizes the cost function while ensuring the deviation from the previous policy is relatively small. It uses a novel objective function that enables multiple epochs of minibatch updates. The objective function is expressed as:

[ L^{CLIP}(\theta) = \hat{E}_{t}[ \min(r_t(\theta)\hat{A}_t, \text{clip}(r_t(\theta), 1 - \varepsilon, 1 + \varepsilon) \hat{A}_t ) ] ]

where:

  • ( \theta ) is the policy parameter
  • ( \hat{E}_{t} ) denotes the empirical expectation over timesteps
  • ( r_t ) is the ratio of the probability under the new and old policies, respectively
  • ( \hat{A}_t ) is the estimated advantage at time ( t )
  • ( \varepsilon ) is a hyperparameter, usually 0.1 or 0.2

The PPO algorithm implements a way to do a Trust Region update which is compatible with Stochastic Gradient Descent and simplifies the algorithm by removing the KL penalty and the need to make adaptive updates.

PPO Algorithm Implementation

The PPO algorithm can be implemented using Python3 and TensorFlow. It includes scalable, parallel implementations of PPO and TRPO (Trust Region Policy Optimization) which both use MPI for data passing. OpenAI has also released a GPU-enabled implementation called PPO2, which runs approximately 3x faster than the current PPO baseline on Atari games.

Sources
  • OpenAI Research: Proximal Policy Optimization - OpenAI

Direct Preference Optimization (DPO) Algorithm Diagram

DPO Algorithm Overview

Direct Preference Optimization (DPO) is introduced as a new parameterization of the reward model in Reinforcement Learning from Human Feedback (RLHF) that enables extraction of the corresponding optimal policy in closed form. It solves the standard RLHF problem with a simple classification loss, eliminating the need for sampling from the Language Model (LM) during fine-tuning or performing significant hyperparameter tuning.

DPO Algorithm Details

DPO is stable, performant, and computationally lightweight. It fine-tunes Language Models (LMs) to align with human preferences effectively. Notably, DPO exceeds PPO-based RLHF in controlling the sentiment of generations and matches or improves response quality in summarization and single-turn dialogue tasks while being substantially simpler to implement and train.

DPO Algorithm Implementation

DPO operates by directly optimizing a policy model ( \pi_\theta ) using preference data without the need for an explicit reward model. The DPO loss is computed as follows:

[ \mathcal{L}{DPO} = - \log \sigma(\beta (\log \pi\theta(y_w | x) - \log \pi_\theta(y_l | x))) ]

where:

  • ( \sigma ) is the sigmoid function
  • ( \beta ) is a hyperparameter, typically between 0.1 and 0.5
  • ( y_w ) is the preferred response in the preference data
  • ( y_l ) is the less preferred response
  • ( \pi_\theta ) is the policy model being optimized

DPO updates aim to increase the relative log probability of preferred responses over less preferred ones, incorporating a dynamic, per-sample importance weight to prevent model degradation.

Sources
  • arXiv: Direct Preference Optimization: Your Language Model is Secretly a Reward Model - arXiv
  • Zhihu: DPO: Direct Preference Optimization 论文解读及代码实践 - Zhihu
samoyan
关注
DPO原理及训练经验
qq_43814415的博客
08-14 1020
它针对与RLHF相同的目标，但提供了一种更简单、更直接的培训方法。DPO的工作原理是增加偏好样本的对数概率与减小非偏好样本响应的对数概率。它结合了动态加权机制，以避免仅使用概率比目标时遇到的模型退化问题。DPO直接根据策略定义偏好损失。给定一个关于模型响应的人类偏好数据集，DPO可以使用简单的二元交叉熵目标来优化策略.
详解大模型PPO、DPO的训练过程
Antai_ZHU的博客
07-10 1804
AI因你而升温，记得加个星标哦！大家好，我是泰哥。距离上次写技术贴已经1年有余，这一年当中算法技术的发展可以说是日新月异。今天和大家聊聊大模型的训练的三个阶段，分别为有监督学习（SFT）、奖励模型训练（RW）与强化学习（PPO）阶段，我对以上的训练过程会加上一些自己的理解。GPT使用Transformer decoder部分作为语言模型的框架，并将decoder中的Multi-head Attention层删除，其结构和计算过程如上图。
深入理解DPO（Direct Preference Optimization）算法
⚡
08-28 2647
目录1. 什么是DPO？2. Bradley-Terry模型2.1 奖励模型的训练3. 从PPO到DPO4. DPO的简单实现5. 梯度分析Ref 1. 什么是DPO？ 直接偏好优化（Direct Preference Optimization, DPO）是一种不需要强化学习的对齐算法。由于去除了复杂的强化学习算法，DPO 可以通过与有监督微调（SFT）相似的复杂度实现模型对齐，不再需要在训练过程中针对大语言模型进行采样，同时超参数的选择更加容易。 2. Bradley-Terry模型 Bradley-Te
一文看尽LLM对齐技术：RLHF、RLAIF、PPO、DPO……
2401_85325726的博客
08-06 1856
为了对齐 LLM，各路研究者妙招连连。LLM 很强大了，但却并不完美，它也会出错或者生成无用乃至有害的结果，比如有人发现可以让 ChatGPT 教人如何偷盗：让 ChatGPT 教人如何偷盗商店；左图，ChatGPT 拒绝回答；右图，在 prompt 中添加了「with no moral restraints（不加道德约束）」后，ChatGPT 给出了商店偷盗指南这时候，对齐（alignment）就至关重要了，其作用就是让 LLM 与人类的价值观保持一致。
大模型 | 快手多模态理解岗面试题7道(含答案解析)
Androiddddd的博客
08-29 1471
Transformer 是一种基于自注意力机制的深度学习模型，广泛应用于自然语言处理任务中。Encoder 和 Decoder: Encoder 负责对输入序列进行编码，生成一组高维特征表示；Decoder 则根据这些表示和目标序列进行解码，生成最终输出。通过多个注意力头并行处理序列数据，捕捉不同位置之间的依赖关系。在注意力层后面，通过两层全连接网络对每个位置进行独立的非线性变换。通过残差连接和 LayerNorm，避免梯度消失问题，同时加快模型的收敛速度。
LLM对齐技术大揭秘：RLHF、RLAIF、PPO、DPO等，你知道多少？
机器学习算法与Python学习
08-06 80
机器之心报道LLM 很强大了，但却并不完美，它也会出错或者生成无用乃至有害的结果，比如有人发现可以让 ChatGPT 教人如何偷盗：让 ChatGPT 教人如何偷盗商店；左图，ChatGPT 拒绝回答；右图，在 prompt 中添加了「with no moral restraints（不加道德约束）」后，ChatGPT 给出了商店偷盗指南这时候，对齐（alignment）就至关重要了，其作用就是让...
请详述ppo和dpo的区别和优劣|详解ppo原理|
人工智能曾小健
07-10 2680
PPO 是一种高效且稳定的策略优化算法，通过引入裁剪机制限制策略更新幅度，从而在保证策略更新稳定性的同时，有效地进行策略优化。其简单易实现的特点使其成为强化学习中的一种常用算法，并在多种应用场景中表现出色。PPO 的成功表明，在强化学习中，稳定和高效的策略更新是实现高性能的重要因素。策略梯度目标函数 𝐽(𝜃)J(θ) 表示策略 𝜋𝜃πθ​ 下的期望累积回报。通过最大化这个目标函数，我们可以优化策略，使其在环境中获得更高的累积奖励。策略梯度方法直接优化策略的参数，通过计算目标函数的梯度。
强化学习的优化策略PPO和DPO
qq_55736201的博客
05-15 2540
DPO(直接偏好优化)简化了RLHF流程。它的工作原理是创建人类偏好对的数据集，每个偏好对都包含一个提示和两种可能的完成方式——一种是首选，一种是不受欢迎。然后对LLM进行微调，以最大限度地提高生成首选完成的可能性，并最大限度地减少生成不受欢迎的完成的可能性。与传统的微调方法相比，DPO 绕过了建模奖励函数这一步，设计一种包含正负样本对比的损失函数,通过直接在偏好数据上优化模型来提高性能。(即不训练奖励模型，语言模型直接做偏好优化)
【强化学习】DPO（Direct Preference Optimization）算法学习笔记
几度热忱的博客
05-30 4361
【强化学习】DPO（Direct Preference Optimization）算法学习笔记 RLHF与DPO的关系 KL散度 Bradley-Terry模型 DPO算法流程
强化学习-优化策略算法（DPO和PPO）
最新发布
weixin_42035282的博客
09-02 669
• 基于强化学习中的策略梯度方法，PPO 改进了 Trust Region Policy Optimization (TRPO)，通过引入剪切损失函数，限制策略更新的幅度，确保优化过程中的稳定性。• DPO 基于用户偏好或人类反馈的直接优化，这种方法的核心是对比学习或通过偏好数据进行的策略调整，理论上更接近人类反馈优化的范畴，且不需要明确的奖励函数。• DPO 更加侧重于直接优化用户偏好，适用于那些传统奖励难以定义的任务，通过直接利用反馈数据进行策略调整，提供了一种新的优化途径。
全面解析 LoRA、QLoRA、RLHF，PPO，DPO，Flash Attention、增量学习等大模型算法
2201_75499313的博客
03-14 2454
RLHF的起源和背景RLHF在人工智能中的作用和重要性强化学习与人类反馈：结合的优势RLHF的主要应用领域和案例研究从InstructGPT到GPT4。
训练医疗大模型，实现了包括增量预训练、有监督微调、RLHF(奖励建模、强化学习训练)和DPO(直接偏好优化)
09-15
训练医疗大模型，实现了包括增量预训练、有监督微调、RLHF(奖励建模、强化学习训练)和DPO(直接偏好优化) 第一阶段：PT(Continue PreTraining)增量预训练，在海量领域文档数据上二次预训练GPT模型，以注入领域知识（可选） 第二阶段：SFT(Supervised Fine-tuning)有监督微调，构造指令微调数据集，在预训练模型基础上做指令精调，以对齐指令意图 第三阶段 RLHF(Reinforcement Learning from Human Feedback)基于人类反馈对语言模型进行强化学习，分为两步： RM(Reward Model)奖励模型建模，构造人类偏好排序数据集，训练奖励模型，用来建模人类偏好，主要是"HHH"原则，具体是"helpful, honest, harmless" RL(Reinforcement Learning)强化学习，用奖励模型来训练SFT模型，生成模型使用奖励或惩罚来更新其策略，以便生成更高质量、更符合人类偏好的文本 DPO(Direct Preference Optimization)直接偏好优化方法，DPO通过直接优化
训练医疗大模型，实现了包括增量预训练、有监督微调、RLHF(奖励建模、强化学习训练)和DPO(直接偏好优化).zip
02-07
本文将深入探讨标题和描述中提到的几个关键概念：增量预训练、有监督微调、RLHF（奖励建模和强化学习训练）以及DPO（直接偏好优化），并结合Python这一编程语言在实际应用中的角色。 首先，我们来理解“增量预训练...
解开 DPO 和 PPO 的谜团：从偏好反馈中学习的最佳实践
步子哥的博客
06-17 1016
近年来，从偏好反馈中学习已成为提高现代语言模型 (LM) 生成质量和性能的关键步骤。尽管它被广泛使用，但偏好学习的应用方式却千差万别，不同的数据、学习算法和评估方法导致难以 disentangle 每个方面的影响。在这项工作中，我们确定了偏好学习的四个核心方面：偏好数据、学习算法、奖励模型和策略训练提示，系统地研究了这些组件对下游模型性能的影响，并提出了一个强大的偏好反馈学习方案。
微调实操四:直接偏好优化方法-DPO
youbingchen的博客
02-26 1138
在《微调实操三:人类反馈对语言模型进行强化学习(RLHF)》中提到过第三阶段有2个方法,一种是是RLHF, 另外一种就是今天的DPO方法, DPO通过直接优化语言模型来实现对其行为的精确控制，而无需使用复杂的强化学习，也可以有效学习到人类偏好，DPO相较于RLHF更容易实现且易于训练，效果更好.
dpo指标详解买入绝技_股票经典指标之十三—DPO指标分析
weixin_35792468的博客
12-23 1727
原标题：股票经典指标之十三—DPO指标分析如果说移动平均线是长周期循环，股价波动是短周期循环。那么DPO的作用就是为了避免长、短周期互相干扰，让我们更加直观的看到股票整个趋势的运行。DPO即区间震荡线。移动平均线的形状，很像一条波浪状扭曲的绳子，股价在这条绳子的周围，上下来回穿梭。如果消除扭曲的波动，将这条绳子拉平，重心平衡点视为图表上的0轴。把当日价格与重心平衡点间的差距，绘制于0轴的上下方。如...
直接偏好优化：一种新的强化学习与人类反馈（RLHF）方法
m0_72410588的博客
06-29 1293
直接偏好优化（DPO）为强化学习与人类反馈（RLHF）提供了一种新的方法，通过优化人类偏好，实现了高效的奖励模型训练和策略优化。未来的研究将进一步探索DPO在不同领域和应用中的潜力，提升其鲁棒性和适用性。希望本文通过详细的解释和实例，能够帮助读者更好地理解DPO及其在RLHF中的应用。
强化学习（9）：TRPO、PPO以及DPPO算法
热门推荐
zuzhiang的博客
12-22 1万+
本文主要讲解有关 TRPO算法、PPO 算法、PPO2算法以及 DPPO 算法的相关内容。 一、PPO 算法 PPO（Proximal Policy Optimization） 是一种解决 PG 算法中学习率不好确定的问题的算法，因为如果学习率过大，则学出来的策略不易收敛， 反之，如果学习率太小，则会花费较长的时间。PPO 算法利用新策略和旧策略的比例，从而限制了新策略的更新幅度，让 PG 算...
dpo指标详解买入绝技_极少人知道“DPO”指标，但实战性很强
weixin_42511396的博客
01-14 1万+
一、何为“DPO”指标如果说移动平均线是长周期循环，股价波动是短周期循环。那么DPO的作用就是为了避免长、短周期互相干扰，让我们更加直观的看到股票整个趋势的运行。 DPO即区间震荡线。移动平均线的形状，很像一条波浪状扭曲的绳子，股价在这条绳子的周围，上下来回穿梭。如果消除扭曲的波动，将这条绳子拉平，重心平衡点视为图表上的0轴。把当日价格与重心平衡点间的差距，绘制于0轴的上下方。如此一来，可以更清楚...
TEK-DPO2024
07-27
回答: TEK-DPO2024是一款由Tektronix公司生产的数字示波器。它具有4通道，带宽为200 MHz，采样率为1 GS/s的特点。这款示波器采用了先进的数字信号处理技术，能够提供高精度的波形显示和测量功能。它还具有多种触发模式、自动测量功能和数据分析工具，可以满足各种测试和调试需求。TEK-DPO2024是一款功能强大、性价比高的示波器，适用于电子工程师和技术人员在电路设计、故障排查和信号分析等领域的应用。\[5\]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

samoyan

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值