1 PPO方法:近端策略优化
论文:Proximal Policy Optimization Algorithms
核心改进:
![请添加图片描述](https://i-blog.csdnimg.cn/blog_migrate/b3dc99ef937038efb539f91912274ff9.jpeg)
![请添加图片描述](https://i-blog.csdnimg.cn/blog_migrate/9504de8b3fc101e8351e05c20cef13c9.jpeg)
2 TRPO
论文:Trust Region Policy Optimization![请添加图片描述](https://i-blog.csdnimg.cn/blog_migrate/07f631766d8cd383fe28eca47d236c0e.png)
PPO也是一个TRPO方法,只不过它使用对策略比率简单裁剪来限制策略的更新。
3 SAC
论文:Soft Actor-Critic:Off-Policy Maximum Entropy Deep Reinforcement Learning
核心思想:熵正则化,在每个时间戳上添加了与该时间戳上的策略熵成比例的奖励。
![请添加图片描述](https://i-blog.csdnimg.cn/blog_migrate/6702e61a17d8ef075f04ee81b9e932b4.jpeg)