浅析强化学习Proximal Policy Optimization Algorithms(PPO)

最新推荐文章于 2025-03-31 22:31:04 发布
最新推荐文章于 2025-03-31 22:31:04 发布
阅读量4.6k 收藏 22
点赞数 5
分类专栏： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43145941/article/details/115049184
版权
本文深入探讨了强化学习中的PPO算法，包括基于Actor-Critic网络的架构，重点介绍了Actor网络和Critic网络的设计。PPO的关键思想在于通过限制新旧策略之间的差异，避免策略梯度更新幅度过大。文章详细解析了Actor网络求rt(θ)的过程，并阐述了PPO的整体工作流程，强调了其on-policy特性以及更新策略和GAE（Generalized Advantage Estimation）的计算方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

Actor-Critic网络

PPO是基于AC网络架构实现的。

Actor网络

PPO有一个Actor网络，Actor输入的维度为state_dim，即状态维数，输出维度为action_dim，意义是每个action的高斯策略的均值，另外，Actor网络还有action_dim个标准差参数，这样在输入一个state后，每个动作都对应一个一维的高斯分布。
在这里插入图片描述

Critic网络

PPO有一个Critic，Critic网络是用来拟合状态值函数 v π ( s

了解本专栏 订阅专栏 解锁全文
（11-3）Proximal Policy Optimization (PPO)算法：PPO算法的实现与调参
码农三叔
03-17 3077
PPO（Proximal Policy Optimization）的策略网络结构的设计是在应用中至关重要的一步，它直接影响了算法的性能和训练的稳定性。PPO（Proximal Policy Optimization）算法的实现和调参是在应用中取得成功的关键步骤，在本节的内容中，将详细讲解实现PPO算法的知识。在这个示例中，输出的采样动作是4，这是根据策略网络和输入状态生成的。上面的输出表示在经过超参数搜索后，找到了最佳的学习率和剪切参数组合，并且在这些超参数下，PPO算法在评估中获得了最佳的总奖励。
为什么RLHF中，PPO需要Critic模型而不是直接使用RewardModel
强化学习曾小健
02-10 1772
长期价值对智能体的决策具有更全面的影响，可以帮助智能体更好地评估当前状态和动作的长期效果，并指导智能体在长期时间尺度上作出更优的决策。优势函数的作用在于帮助评估当前动作的相对价值，以便在策略更新过程中确定应采取的动作。在PPO算法中，优势函数用于计算策略更新的目标，以便调整策略概率分布来提高优势函数为正的动作的概率，并降低优势函数为负的动作的概率，从而改进策略的性能。总而言之，优势函数在PPO算法中用于评估状态-动作对的相对优劣，帮助确定应该采取的动作，并在策略更新过程中引导策略向更优的方向调整。
大模型面试题解析：PPO算法中的actor和critic学习率为啥不一样？
最新发布
Code1994的博客
03-31 1294
在研究RLHF（Reinforcement Learning from Human Feedback）源码时，我注意到一个设置，起初一直不太明白其原因。经过查阅资料和整理，现总结如下：在强化学习领域，尤其是采用Actor-Critic算法时，通常会将Actor（策略网络）和Critic（价值网络）的学习率设置为不同的数值，这种差异是由它们在算法中所承担的不同角色以及训练过程中的动态特性所决定的。以下是具体分析：Actor（策略网络） 其主要职责是直接输出动作（或动作的概率分布），从而直接决定智能体的行为表现
【强化学习】近端策略优化算法(PPO)万字详解（附代码）
追风赶月莫停留，平芜尽处是春山
12-26 2万+
PPO（Proximal Policy Optimization）是一种强化学习算法，设计的目的是在复杂任务中既保证性能提升，又让算法更稳定和高效。以下用通俗易懂的方式介绍其核心概念和流程。 PPO 是 OpenAI 在 2017 年提出的一种策略优化算法，专注于简化训练过程，克服传统策略梯度方法（如TRPO）的计算复杂性，同时保证训练效果。 问题：在强化学习中，直接优化策略会导致不稳定的训练，模型可能因为过大的参数更新而崩溃。解决方案：PPO通过限制策略更新幅度，使
PPO算法的基本原理
haha125809的博客
10-27 3100
PPO算法与DDPG算法在水下自适应编码中均广泛的有应用，但两者之间略有区别，后续博主会继续更新基于强化学习的水声OFDM信道自适应调制方案论文的详细内容。
强化学习（PPO）
weixin_42209537的博客
02-07 523
policy gradient不好确定learning rate（即step size）的问题，step size过大，policy会一直乱动，不容易收敛；反之，step size太小，完成训练的话，需要很长时间，PPO算法则是利用了新旧策略的比例，限制新策略的更新幅度，让算法对step size不那么敏感。PPO算法的核心在于更新策略梯度，主流方法有两种，一种是KL散度做penalty，另一种是clip做剪裁，主要作用是限制策略梯度更新的幅度。
PPO(Proximal Policy Optimization)算法原理及实现,详解近端策略优化
weixin_41106546的博客
04-04 9万+
接着上面的讲，PG方法一个很大的缺点就是参数更新慢，因为我们每更新一次参数都需要进行重新的采样，这其实是中on-policy的策略，即我们想要训练的agent和与环境进行交互的agent是同一个agent；与之对应的就是off-policy的策略，即想要训练的agent和与环境进行交互的agent不是同一个agent，简单来说，就是拿别人的经验来训练自己。举个下棋的例子，如果你是通过自己下棋来不断提升自己的棋艺，那么就是on-policy的，如果是通过看别人下棋来提升自己，那么就是off-policy的。
LLM学习笔记
weixin_40103562的博客
10-16 828
常见术语。
深度强化学习落地方法论训练篇：PPO、DQN、DDPG、学习率、折扣因子等
丨汀、的博客
07-15 4582
深度强化学习落地方法论训练篇：PPO、DQN、DDPG、学习率、折扣因子等
强化学习之图解PPO算法和TD3算法
Echooo的博客
06-27 1万+
强化学习之图解PPO和TD3算法0. 引言1. PPO算法1.1 网络结构1.2 产生experience的过程1.3 Actor网络的更新流程1.4 Critic网络的更新流程2. TD3算法2.1 网络结构2.2 产生experience的过程2.3 Actor网络的更新流程2.4 Critic网络的更新流程2.5 总结 0. 引言 关于on-policy和off-policy的定义，网上有很多不同的讨论，我认为，on-policy和off-policy的差异在于所用到的数据(s,a,r,s′)(s,a
强化学习之 PPO 算法
发呆的比目鱼的博客
11-09 8569
强化学习之PPO算法
【PPO】近端策略优化【Clip版本，离散动作】
weixin_46267823的博客
03-15 4560
可以看到PPO算法中的策略网络输出的是对应的动作概率，从最后一行代码中可以识别出PPO算法与算法一样，其价值网络仅用来进行价值估计。所以其最后的输出的维度是一维，从可以看出。
强化学习PPO算法的思路流程
改变从此发生
03-21 1万+
首先可以肯定的是PPO算法是基于actor-critic框架的，但是它又含有强烈的Policy Gradient的风格。本文仅介绍PPO算法的应用流程。 通常PPO算法的实现中有三个network，一个critic network，两个actor network（old_actor and new_actor）。在一个episode中，agent首先利用现有的策略Pi (new_actor ne...
【强化学习】PPO(Proximal Policy Optimization)近端策略优化算法
热门推荐
shura的技术空间
01-11 9万+
morvan zhou教学视频https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/6-4-DPPO/ Hung-yi Lee课程http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.html PPO论文https://arxiv.org/abs...
强化学习经典算法笔记(十二)：近端策略优化算法（PPO）实现，基于A2C（下）
hhy_csdn的博客
06-30 3921
强化学习经典算法笔记(十二)：近端策略优化算法（PPO）实现，基于A2C 本篇实现一个基于A2C框架的PPO算法，应用于连续动作空间任务。 import torch import torch.nn as nn from torch.distributions import MultivariateNormal import gym import numpy as np device = torch.device("cuda:0" if torch.cuda.is_available() else "cpu
PPO：近端策略优化
weixin_49346755的博客
04-23 1953
基本概念 PPO PPO算法和TRPO算法一样，也是一样常用的策略优化方法。与TRPO不同，PPO算法使用自适应KL惩罚系数β\betaβ来约束KL散度，并且在每次策略更新中动态设置惩罚系数β\betaβ；PPO算法还有另一种实现方式，不将KL散度直接放入似然函数中，而是进行一定程度的裁剪。 PPO训练过程的伪代码如下图所示： PPO with clip 在TRPO中，使用的目标函数为： 如果令rt(θ)=πθ(at∣st)πθold(at∣st)r_t(\theta)=\frac {\pi_\thet
强化学习之PPO
小星AI
09-09 4524
阅读本文前先了解TRPO算法有助于理解，我对此也写过博客：https://blog.csdn.net/tianjuewudi/article/details/120191097 参考李宏毅老师的视频：https://www.bilibili.com/video/BV1Wv411h7kN?p=80 PPO，全名Proximal Policy Optimization，近端策略优化算法。 PPO算法是一种新型的Policy Gradient算法，Policy Gradient算法对步长十分敏感，但是又难以选择合
RNN模型与NLP应用笔记(3)：Simple RNN模型详解及完整代码实现
weixin_45012204的博客
05-08 6605
【Simple RNN模型详解及完整代码实现】这篇文章首先介绍简易RNN模型，我们会以问题导向的方式一步一步对简易RNN模型进行改进。
动手学强化学习笔记-Dueling DQN
qq_73355475的博客
09-19 272
当取最优动作a*时，A（s,a*）=maxA(s,a'),从而maxQ(s,a)=V(s)，此时最优的Q有唯一的V，确保了V值建模的唯一性。对于该式子的证明，我们可以对优势函数A*(s,a)=Q*(s,a)-V*(s),两边同时取最优动作a*，则有maxA*(s,a*)=maxQ*(s,a*)-V*(s),又根据最优策略与Q值的关系（贝尔曼最优方程），有V*(s)=maxQ*(s,a),可以得到maxA*(s,a)=0。那么就可以得到Q*(s,a)=V*(s)+A*(s,a)-maxA*(s,a)。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

iπ弟弟

如果可以的话，请杯咖啡吧！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值