PPO算法基础（一）

白云千载尽

已于 2024-12-24 20:56:37 修改

阅读量391

点赞数 4

文章标签：算法

于 2024-12-24 20:12:54 首次发布

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/hooksten/article/details/144701592

版权

PPO近端策略优化算法

我们今天还是主要来理解PPO算法的数学原理。PPO是一种策略梯度方法，简单的策略梯度对每个样本（或者一组样本）进行一次梯度更新，对单个样本执行多个梯度步骤会导致一些问题，因为梯度偏差太大，从而产生错误的策略。PPO允许我们在每个样本中进行多次梯度更新，方法是尽量使策略与用于采样的策略保持一致（PG算法本身都是要on-policy，PPO可以on也可以off），如果更新后的策略与用于采样数据的策略不接近，则通过削减梯度流来实现。

PPO损失的更新方式是求解这个式子，也就是最大化我们的目标函数

在这里插入图片描述

我们需要用优势函数来化简这个式子

在这里插入图片描述

可以发现我们的目标函数就可以等于下面的式子

在这里插入图片描述

我们定义一个权重系数d

在这里插入图片描述

再化简一下，将优化问题转换为求解分布问题

在这里插入图片描述

再化简一下，将优化问题转换为求解分布问题

在这里插入图片描述

通过重要性采样，将式子转换一下

在这里插入图片描述

上面的那个ratio非常重要，定义

在这里插入图片描述

通过clip裁剪限制策略π和π-old的差异

在这里插入图片描述

除了策略损失，还有值函数损失，我们也通过裁剪值函数进行更新 ![在这里插入图片描述](https://i-blog.csdnimg.cn/direct/30a58b034beb4cf2a746a75b6b4cc196.png) 得到的损失函数为

在这里插入图片描述

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

打赏作者

白云千载尽 你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20

扫码支付：¥1

获取中

扫码支付

您的余额不足，请更换扫码支付或充值

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。