DRL基础（十二）——近端策略优化算法PPO【附代码】

已于 2022-09-20 14:42:55 修改
阅读量1.6k 收藏 3
点赞数
分类专栏： 深度强化学习极简入门与Pytorch实战 文章标签： 机器学习 人工智能 PPO 强化学习 策略梯度
于 2022-09-14 22:28:06 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/keypig_zz/article/details/126804773
版权

主要内容：

  • 讲解PPO提出的背景
  • 讲解PPO算法的理论和技巧
  • 基于Pytorch实现PPO算法，并用于解决gym环境中乒乓球游戏(Pong)
  • PPO完整代码下载链接见文末

文章目录

2016年10月OpenAI公司发布了《Dota2》强化学习游戏智能体OpenAI Five，并且经过多年的开发训练后战胜了当时的世界冠军团队OG，技术细节可以看发表的论文。OpenAI Five的核心算法是PPO，一种称为近端策略优化的算法，属于策略梯度算法的一种。OpenAI Five和PPO的成功大大增加了AI研究者对强化学习解决复杂问题的信心，PPO也成为使用强化学习解决各类问题的一个基准算法。
在这里插入图片描述

1 REINFORCE存在的问题

PPO属于策略梯度算法，即通过求解强化学习问题中目标函数的梯度，利用梯度提升的方法训练强化学习智能体。这种方式的鼻祖应该算REINFORCE算法，上一节我们详细介绍并实现了该算法。REINFORCE算法总结起来，包含以下几个步骤：

<
了解本专栏 订阅专栏 解锁全文
二向箔不会思考
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
近端策略优化（PPO）：深度强化学习的核心技术
禅与计算机程序设计艺术
02-28 609
1.背景介绍 深度强化学习（Deep Reinforcement Learning，DRL）是近年来人工智能领域的热门研究方向，它结合了深度学习的强大表征能力和强化学习的决策能力，使得机器能够在复杂的环境中自我学习和决策。然而，深度强化学习的训练过程往往存在着高度的不稳定性和复杂性，这在很大程度上限制了其在实际问题中的应用。为了解决这个问题，OpenA
深度强化学习（DRL）算法 2 —— PPO 之 GAE 篇
以后要认真写文章
02-17 2777
到这里，PPO 算法相关的细节就讲完了，但是 PPO 的代码实现上还有许多细节，可以参考cleanrl是目前我看过的可读性最好的 ppo 代码实现，对具体实现感兴趣的可以看下这个 repo。接下来的文章会介绍 DRL 其他的常用算法，如 DDPG、SAC 等。
强化学习（3） PPO pytorch实例
软件工程小施同学 的专栏
05-31 434
邻近策略优化（Proximal Policy Optimization，PPO）算法解决的问题是离散动作空间和连续动作空间的强化学习问题，是on-policy的强化学习算法。算法主要思想：策略pi接受状态s，输出动作概率分布，在动作概率分布中采样动作，执行动作，得到回报，跳到下一个状态。在这样的步骤下，我们可以使用策略pi收集一批样本，然后使用梯度下降算法学习这些样本，但是当策略pi的参数更新后，这些样本不能继续被使用，还要重新使用策略pi与环境互动收集数据，真的非常耗时。因此采用。
深度强化学习（DRL）算法 2 —— PPO 之 Clipped Surrogate Objective 篇
以后要认真写文章
02-16 1474
在之前的文章里介绍了，提出了两个缺点，其中缺点一，在后续提出的 DRL 算法 PPO 解决了，今天我们就来看看大名鼎鼎的 PPO 算法。
强化学习——Modle-free DRL算法
Yolandalt7777777的博客
10-05 475
model-free DRL算法概念 分类以及不同之处
深度强化学习（DRL）算法 1 —— REINFORCE
以后要认真写文章
02-15 1128
就像引言里所描述的养成习惯的四个步骤，如果我们想让机器也有自己的“习惯”，去掉机器没有的渴求属性，就是强化学习所做的事情 —— 帮机器养成“习惯”，而 DRL 就是使用深度学习的技术去实现强化学习算法。今天是系列文章的第一篇，会介绍最基础的 policy-based 的算法 —— REINFORCE。
DRL策略梯度
weixin_42230458的博客
01-21 1343
深度强化学习——策略梯度
DRL深度强化学习代码实战1——MountainCar-v0小车成功登顶
各位大计佬，请教我技术！
05-12 1785
DRL代码实战1——如果你是刚刚接触DRL的同学，那么本文的内容就是引你入胜的第一个小实验。DRL的学习离不开理论知识，但更不能缺少代码实践！
【深度强化学习】DRL算法实现pytorch
weixin_44145900的博客
12-12 2403
深度强化学习算法学习笔记，代码地址：https://github.com/Livioni/DRL_algorithms
论文笔记之PPO
Ton的博客
08-10 4396
15年OpenAI发表了TRPO算法，一直策略单调提升的算法；17年DeepMind基于TRPO发表了一篇Distributed-PPO，紧接着OpenAI发表了这篇PPO。可以说TRPO是PPO的前身，PPO在TRPO的基础上进行改进，使得算法可读性更高，实操性更强。 论文地址，点这里 有关TRPO的论文解读，可参考我的另一篇论文笔记之TRPO PPO作为目前比较火热的model-free类强化学习算法，在许多环境中取得了不错的效果，因此是有必要去学习的。 论文解读参考： ①强化学习笔记（五）–PPO ②
基于深度强化学习的自动驾驶控制决策研究
02-29
#### 近端策略优化算法（PPO）的局限性及其改进 近端策略优化算法（Proximal Policy Optimization, PPO）是一种被广泛应用于强化学习中的策略梯度方法。然而，在实际应用中，PPO存在一些问题，如训练稳定性差、收敛...
MEC边缘计算源码——使用强化深度学习
03-19
2. **深度学习模型**：可能是一个Q-learning、Deep Q-Network (DQN)、Proximal Policy Optimization (PPO) 或其他DRL算法的实现，用于学习资源分配策略。 3. **状态表示**：定义了环境的状态空间，可能包括网络负载...
DeepRL：基于UC Berkeley的CS285的深度强化学习笔记.zip
10-11
这份笔记资料，"DeepRL：基于UC Berkeley的CS285的深度强化学习笔记"，涵盖了该课程的主要内容，旨在帮助学习者理解并掌握DRL的基础和高级应用。 首先，让我们回顾一下强化学习的基本原理。强化学习是一种通过与...
一个比较简单的深度强化学习训练过程仿真,输出奖励值-源码
10-01
总的来说，这个项目提供了一个学习和实践DRL的平台，通过分析和修改源码，我们可以深入理解DRL算法的工作原理，并探索如何优化智能体的表现。无论你是初学者还是有经验的开发者，都能从中受益。请务必仔细阅读和理解...
精品--基于深度强化学习的MEC计算卸载与资源分配.zip
02-05
在MEC场景中，DRL可以自动学习并优化计算卸载策略和资源分配方案，无需预先确定的规则或模型。通过与环境的交互，DRL代理能够动态地调整其行为以最大化长期奖励，如最小化延迟、最大化吞吐量或最小化能耗。 在"ahao...
【机器学习】成本函数在逻辑回归中的形式以及逻辑回归的成本函数
最新发布
m0_49243785的博客
08-02 1019
检查并使用逻辑回归的成本函数
Transformer 架构告诉我们什么？
2401_85233349的博客
08-01 1053
在传统的心理语言学方法中，人类语言是用可解释的模型来解释的，这些模型将符号元素（例如名词、动词、形容词、副词等）与基于规则的操作相结合。从几何上讲，它们之间的夹角越小，余弦值和点积就越大，并且这两个词在特定上下文中的相关性就越高，就像在高维空间中表示的那样。，Transformer 作为过度参数化的简单模型所展现出的蛮力学习，与进化过程类似，都是“简单而简约的”。下面是一个简单的示例，展示了词向量的基本概念。有趣的是，A 和 B 的相关系数也是角度的余弦（见上文 (2) 和 (3) 的公式）。
带并行卷积的水下图像背景前景分割方法
renhongxia1的博客
07-30 1078
图6，7为不同照度条件下水下图像及在不同分割方法的实验结果，其中第1，4行的原始图像为13.826 lx照度下采集的，第2，5行为6.947 lx照度下采集的，第3，6行为0.925 lx照度下采集的。在进行图像采集时，图6，7中，目标距离采集设备分别为1.4，1 m。图5是相机距目标1.4 m处采集的图像，图5a）为空气中的图像，图5b）为照度为13.826 lx条件下采集的水下图像，图5c）为照度为6.947 lx条件下采集的水下图像，图5d）为照度为0.925 lx条件下采集的水下图像。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

二向箔不会思考

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值