RL_PPO

最新推荐文章于 2024-06-19 15:41:59 发布
最新推荐文章于 2024-06-19 15:41:59 发布
阅读量161 收藏 1
点赞数
分类专栏： RL 文章标签： 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40519226/article/details/129388435
版权

不同于value-based方法的 q π ( s , a ) q_{\pi}(s,a) qπ​(s,a)，policy-base方法可以解决连续的动作，因为 π ( a ∣ s ) \pi(a|s) π(a∣s)是一个连续的函数。

策略梯度

image.png

image.png

image.png

image.png
image.png

Proximal Policy Optimization(PPO)

关于[[重要性采样]]

Page1.jpg
Page2.jpg
Page3.jpg
image.png

PPO的两种算法都可以使得收集数据的模型(行为策略)和要更新的模型(目标策略)差距不大。

PPO的优化目标涉及到了重要性采样，可为什么PPO是on-policy呢？

  • 虽然PPO使用了重要性采样，但是只用到了上一轮策略 θ \theta θ’的数据，PPO目标函数中添加了KL约束，行为策略和目标策略非常接近，因此，行为策略和目标策略可以认为是同一个策略，是on-policy

参考

https://datawhalechina.github.io/easy-rl/#/chapter5/chapter5
原论文
PPO实现CarPole-v1
PPO实现BipedalWalker-v3（连续动作）
https://blog.csdn.net/weixin_47471559/article/details/125593870
The 37 Implementation Details of Proximal Policy Optimization
动手学强化学习
动手学强化学习代码实现

wzc-run
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Humanoid_PyBullet_PPO:RL在小球中实现自定义类人动物代理
04-06
RL拟人化小球化剂（PPO） 说明即将推出...
rl_algorithms:RL密钥算法的结构化实现
05-13
演算法优势演员评判（A2C） 深度确定性策略梯度（DDPG） 近端策略优化算法（PPO） 双延迟深度确定性策略梯度算法（TD3） 软演员评论算法（SAC） 行为克隆（BC与DDPG，SAC） 来自演示（DDPGfD，SACfD，DQfD） 彩虹
PPO算法实现的37个实现细节（3/3）9 details for continuous action domains
qq_47997583的博客
10-27 362
博客标题：The 37 Implementation Details of Proximal Policy作者：Huang, Shengyi;本文接上篇继续，本篇主要介绍与Mujoco类型的环境的场景下，实现PPO算法的9个实现细节。
2022年度强化学习领域19个重要进展汇总
u013250861的博客
01-29 4395
为了创造更安全的对话智能体，DeepMind在最新论文中提出了Sparrow（麻雀）模型，探索了训练对话智能体的新方法，即从人类的反馈中学习，使用基于研究参与者输入的强化学习，能够减少生成不安全和不适当答案的风险。最近，AlphaZero 的作者 Demis Hassabis 与 DeepMind 的同事以及谷歌大脑的研究员合作了一项研究，在 AlphaZero 的神经网络中找到了人类国际象棋概念的证据，展示了网络在训练过程中获得这些概念的时间和位置，还发现了 AlphaZero 与人类不同的下棋风格。
近端策略优化（proximal policy optimization）算法简述
星海浮生
02-26 7426
本文通过整理李宏毅老师的机器学习教程的内容，简要介绍深度强化学习（deep reinforcement learning）中的近端策略优化算法（proximal policy optimization）。
ETH开源PPO算法学习
qq_23096319的博客
02-28 1101
项目地址：https://github.com/leggedrobotics/rsl_rl项目简介：快速简单的强化学习算法实现，设计为完全在 GPU 上运行。这段代码是 NVIDIA Isaac GYM 提供的 rl-pytorch 的进化版。下载源码，查看目录，整个项目模块化得非常好，每个部分各司其职。下面我们自底向上地进行讲解加粗的部分。rsl_rl/││ │ppo.py # PPO算法的实现│ │├─env/
优化PPO
CharilePuth的博客
07-04 2169
The 37 Implementation Details of Proximal Policy Optimization
Actor-Critic原理+PPO算法推导
01-20
"Actor-Critic原理+PPO算法推导" Actor-Critic 原理是强化学习中的一种重要方法，主要用于解决 Sequential Decision Making 问题。该方法结合了 Actor 网络和 Critic 网络，Actor 网络负责选择动作，而 Critic 网络...
Actor-Critic原理和PPO算法推导，PPT讲解
01-20
基于李宏毅的课程
Pensieve-PPO:通过最新的RL算法（包括DQN，A2C，PPO和SAC）最简单地实现Pensieve（SIGCOMM 17'）
05-06
盆式PPO关于沉思-PPO 这是Pensieve [1]的一个简单的TensorFlow实现。 详细地说，我们通过PPO而非A3C培训了Pensieve。 这是一个稳定的版本，已经准备好训练集和测试集，并且您可以轻松运行仓库：只需键入python train...
强化学习相关开源项目介绍 | Stable Baselines 3 | SKRL | RL Games | RSL-RL
公众号：快乐变态屋 漂亮大男孩的罗德岛
02-19 934
本文将介绍四个与强化学习相关的开源项目：Stable Baselines 3、SKRL和RL Games，以及RSL-RL。Stable Baselines 3（SB3）是一个建立在PyTorch之上的强化学习库，旨在提供高质量的实现强化学习算法。SB3是Stable Baselines库的后续版本，后者是基于TensorFlow的。SB3致力于提供一个简单、高效、易于理解的接口，使得研究者和开发者可以快速实现和测试自己的强化学习算法。
动手学深度学习（Pytorch版）代码实践 -深度学习基础-04图片分类数据集
李思成的博客
06-18 345
【代码】动手学深度学习（Pytorch版）代码实践 -深度学习基础-04图片分类数据集。
SSA-CNN多输入时序|樽海鞘算法-卷积神经网络|Matlab
不定时分享电力优化、神经网络、数学建模等技术等
06-19 286
本代码基于。
神经网络学习3-卷积层
最新发布
drarad的博客
06-19 341
膨胀卷积，也被称为空洞卷积或扩张卷积，是一种特殊的卷积运算，它在标准卷积的基础上引入了一个额外的超参数，即膨胀率（dilation rate）。这个超参数决定了在卷积核的元素之间插入多少额外的空间。通过这种方式，膨胀卷积能够在不增加计算复杂度的同时，扩大卷积运算的采样范围，从而增加感受野（receptive field）的大小。感受野指的是卷积神经网络中某一层输出结果中一个元素所对应的输入层的区域大小，它代表了卷积核在图像上看到的区域大小。感受野越大，包含的上下文关系越多，有利于捕捉更广泛的图像信息。
动手学深度学习（Pytorch版）代码实践 -深度学习基础-10权重衰减
李思成的博客
06-18 336
【代码】动手学深度学习（Pytorch版）代码实践 -深度学习基础-10权重衰减。
【机器学习300问】125、什么是双向循环神经网络（BRNN）？什么是深度循环神经网络（DRNN）？
qq_39780701的博客
06-19 974
BRNN诞生背景、所解决问题、BRNN的网络结构、BRNN使用领域；DRNN是什么？DRNN的网络结构、DRNN的优缺点。
【深度学习】TCN，An Empirical Evaluation of Generic Convolutional【一】
q742971636的博客
06-16 753
对于大多数深度学习从业者来说，序列建模几乎是循环网络的同义词。然而，最近的研究结果表明，在音频合成和机器翻译等任务上，卷积架构可以超越循环网络。面对新的序列建模任务或数据集时，应该选择哪种架构呢？我们对通用的卷积和循环架构进行了系统评估。模型在一系列常用于基准测试循环网络的标准任务上进行了评估。我们的结果表明，简单的卷积架构在多种任务和数据集上优于经典的循环网络（如LSTMs），并表现出更长的有效记忆。我们得出结论，序列建模与循环网络的常见关联应重新考虑，卷积网络应被视为序列建模任务的自然起点。
基于深度学习的物体材质预测
weixin_42605076的博客
06-16 555
基于深度学习的物体材质预测通过卷积神经网络、多任务学习、多尺度特征融合、生成对抗网络和注意力机制等方法，实现了对物体材质的高效预测。尽管面临数据集多样性、光照和视角变化、模型轻量化等挑战，但通过不断的发展和创新，深度学习在物体材质预测领域展现出广阔的应用前景。未来，随着数据集和模型技术的进步，材质预测将进一步提升精度和鲁棒性，在更多实际应用中发挥重要作用。
计算机毕业设计Django+Vue.js考研推荐系统 考研分数线预测 中公考研爬虫 混合神经网络推荐算法 考研可视化 机器学习 深度学习 大数据毕业设计
从业计算机毕业设计10年，打算用一年时间分享10年毕设经验！
06-17 953
计算机毕业设计Django+Vue.js考研推荐系统 考研分数线预测 中公考研爬虫 混合神经网络推荐算法 考研可视化 机器学习 深度学习 大数据毕业设计
PPO pytorch
09-12
PPO (Proximal Policy Optimization) is a popular reinforcement learning algorithm. It stands for Pro＊＊＊ in reinforcement learning tasks. PyTorch is a popular deep learning framework that provides support for building and training neural networks. Many RL algorithms, including PPO, can be implemented using PyTorch. To implement PPO in PyTorch, you typically follow these steps: 1. Define the policy network: Create a neural network model that represents the policy function. 2. Collect data: Interact with the environment using the current policy to collect data, typically through multiple episodes. 3. Compute advantages: Compute advantages to estimate the quality of actions taken during the data collection step. 4. Update policy: Use the collected data and advantages to update the policy network using gradient-based optimization methods, such as stochastic gradient descent (SGD) or Adam. 5. Repeat: Iterate through steps 2-4 for a certain number of iterations or until convergence. There are PyTorch implementations of PPO available online that can serve as a good starting point for your implementation. You can find example code and tutorials on platforms such as GitHub or the official PyTorch website.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值