强化学习-PPO（Proximal Policy Optimization）笔记(1)

最新推荐文章于 2024-07-25 14:12:59 发布
最新推荐文章于 2024-07-25 14:12:59 发布
阅读量251 收藏 10
点赞数 5
文章标签： 笔记
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85730618/article/details/139892714
版权

在监督学习中，实现损失函数、做梯度下降很容易，而且基本上调节参数就能够得到好的结果。但是在强化学习中想要获得好结果就没有这么简单，算法中有许多变化的部分导致难以 调试。

Policy Gradient不通过误差反向传播，它通过观测信息选出一个行为直接进行反向传播，利用reward奖励直接对选择行为的可能性进行增强和减弱，好的行为会被增加下一次被选中的概率，不好的行为会被减弱下次被选中的概率。

PPO算法思想
PPO算法是一种Policy Gradient算法，Policy Gradient算法对步长敏感，但是又难以选择合适步长。PPO提出新的目标函数可以再多个训练步骤实现小批量的更新，解决了Policy Gradient算法中步长难以确定的问题。
PPO算法实现方案
Policy Gradient算法中，Agent又被称为Actor，Actor对于一个特定任务，都有自己的一个策略，策略通常用一个神经网络表示，其参数为θ。从一个特定的状态state出发，一直到任务的结束，被称为一个完整的eposide。在每一步，都能获得一个奖励r，一个完整的任务所获得的最终奖励被称为R。
Policy Gradient算法在更新策略时，基本思想就是增加reward大的动作出现的概率，减小reward小的策略出现的概率。假设现在有一种情况，r​
eward在无论何时都是正的，对于没有采样到的动作，它的reward是0。因此，如果一个比较好的动作没有被采样到，而采样到的不好的动作得到了一个比较小的正reward，那么没有被采样到的好动作的出现概率会越来越小，这显然是不合适的，因此需要增加一个奖励基线，让reward有正有负。

最后

小编这些年深知大多数初中级Android工程师，想要提升自己，往往是自己摸索成长，自己不成体系的自学效果低效漫长且无助。

因此我收集整理了一份《2024年Android移动开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人

都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

资料⬅专栏获取
让我们一起学习成长！

资料⬅专栏获取

2401_85730618
关注
  • 5
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
《Proximal Policy Optimization Algorithms》--强化学习论文笔记
ksvtsipert的博客
07-12 621
原文链接 Markdown公式速写 1. policy gradient 从on policy到 off policy 学习和探索的agent是同一个的话，称作on policy 学习和探索的agent不是同一个的话，称作off policy（agent通过观察别人玩，来学习） policy gradient： ∇\nabla∇ Rθ‾\overline {R_\theta}Rθ​​ = Eτ∼pθ(τ)E_{\color{red}\tau \sim p_\theta(\tau)}Eτ∼pθ​(τ)
强化学习------PPO算法
niulinbiao的博客
10-27 1万+
PPO算法之所以被提出，根本原因在于在处理连续动作空间时取值抉择困难。取值过小，就会导致深度强化学习收敛性较差，陷入完不成训练的局面，取值过大则导致新旧策略迭代时数据不一致，造成学习波动较大或局部震荡。除此之外，因为在线学习的性质，进行迭代策略时原先的采样数据无法被重复利用，每次迭代都需要重新采样；同样地置信域策略梯度算法虽然利用重要性采样、共轭梯度法求解提升了样本效率、训练速率等，但在处理函数的二阶近似时会面临计算量过大，以及实现过程复杂、兼容性差等缺陷。而PPO算法具备。
3.深度强化学习------PPO(Proximal Policy Optimization)算法资料+原理整理
木易进
03-14 1万+
文章地址： PPO: Proximal Policy Optimization Algorithms 一. PPO资料 PPO原理讲解BLOG①：这篇blog详细讲了PPO算法的产生过程及原理，包含部分理论推导，看完这篇blog基本就理解PPO了。 PPO原理讲解BLOG②：可参考，其中包含部分tensorflow实现代码。 二. PPO原理简述 2.1 背景 PPO是基于基本的Policy Gradient进行改进的算法，关于PG的更新过程这里不详细描述了，可以根据上述BLOG①或其他资料或下面的图片推导
深度增强学习PPO（Proximal Policy Optimization）算法源码走读
热门推荐
世事难料，保持低调
05-27 10万+
OpenAI出品的baselines项目是一系列reinforcement learning（强化学习或增强学习）算法的实现。现在已经有包括DQN,DDPG,TRPO,A2C,ACER,PPO在内的近十种经典算法实现，同时它也在不断扩充中。它为对RL算法的复现验证和修改实验提供了很大的便利。本文主要走读其中的PPO（Proximal Policy Optimization）算法的源码实现。PPO是...
深度强化学习（8）Proximal Policy Optimization(PPO)
weixin_43316082的博客
04-08 1001
1. Trust region policy optimization(TRPO) 我们先来介绍TRPO。TRPO是英文单词Trust region policy optimization的简称，翻译成中文是置信域策略优化。 根据策略梯度方法，参数更新方程式为： θnew=θold+α∇θJ\theta_{new}=\theta_{old}+\alpha\nabla_{\theta}Jθnew​=...
从Q-learning到PPO大全 深度强化学习总结和理解
weixin_43167121的博客
02-28 4791
强化学习总结和理解，都是自己最近学习的总结 ，如果有不对的地方还请指出 这一周一直在学强化学习，总结了常见经典算法，强化学习的资源很少，2015年alphago的成功才火起来。不知道未来会不会继续有突破，学完感觉比深度学习难了很多，资源也非常少，对数学要求极高，还需要提高数学和实践能力，以下为自己看了几十遍算法总结的心得。 强化学习分为在线学习和离线学习 Off-policy:q-learning...
强化学习-PPO（Proximal Policy Optimization）笔记
Zhang Phil
08-13 3889
强化学习可以划分成基于值和基于策略两种。深度强化学习领域，将深度学习与基于值的Q-Learning算法相结合产生了DQN算法。 具代表性的是Q-Learning与Policy Gradient算法。Q-Learning算法与深度学习相结合产生了Deep Q Network，又出现将两种方式优势结合在一起的Actor（Agent）-Critic，PPO（Proximal Policy Optimization）等算法。 在监督学习中，实现损失函数、做梯度下降很容易，而且基本上调节参数就能够得到好的结果。但是在
深度学习课程笔记（十四）深度强化学习 --- Proximal Policy Optimization (PPO)
weixin_34362790的博客
07-17 554
  深度学习课程笔记（十四）深度强化学习 ---  Proximal Policy Optimization (PPO) 2018-07-17 16:54:51  Reference: https://blog.openai.com/openai-baselines-ppo/   Code: https://github.com/openai/baselines Paper: https://ar...
深度强化学习2：Proximal Policy Optimization算法(PPO)
qq_38888209的博客
08-13 1104
【李宏毅深度强化学习笔记】2、Proximal Policy Optimization算法(PPO) ...
Python-关于深度强化学习的一系列博文的笔记本
08-11
5. Proximal Policy Optimization（PPO）：PPO是基于策略梯度的强化学习算法，通过约束策略更新的幅度来避免大的策略变化，从而保证训练稳定性。 6. A3C（Asynchronous Advantage Actor-Critic）：A3C是一种异步...
PyTorch-RL:PyTorch实施深度强化学习
05-22
强化学习算法的PyTorch实现 该存储库包含： 策略渐变方法（TRPO，PPO，A2C） 重要笔记 该代码现在适用于PyTorch 0.4。 对于PyTorch 0.3，请检出0.3分支。 要运行mujoco环境，先安装和。 如果您有GPU，建议将OMP...
pytorch-cpp-rl：PyTorch C ++强化学习
01-28
CppRl-PyTorch C ++强化学习 上图：经过我的笔记本电脑训练60秒后在LunarLander-v2上获得的结果 CppRl是一个增强学习框架，使用编写。 这是非常严重基于。 您甚至可以将其视为端口。 API和基础算法几乎是相同的...
Python-深度增强学习算法实现CS294112
08-09
REINFORCE是最早的Policy Gradient算法，而Advantage Actor-Critic (A2C) 和Proximal Policy Optimization (PPO) 是其改进版本，它们在实践中表现更好。 4. Actor-Critic方法：结合了Policy Gradient和Value ...
DeepRL：基于UC Berkeley的CS285的深度强化学习笔记.zip
10-26
Proximal Policy Optimization (PPO)则引入了信任区域优化，防止策略更新过大。 五、蒙特卡洛方法和模型学习 蒙特卡洛学习通过完整轨迹的回报来更新策略，如蒙特卡洛控制和蒙特卡洛规划。模型学习是另一种强化学习...
vite5+vue3开发阅读APP实战笔记20240725
Python私教
07-25 524
修改src/page/home/index.vue，使用组件和API。注意，这里无论是组件还是API，都不需要我们手动引入，我们配置了自动导入以后，vite会帮我们自动导入。创建 src/page/home/index.vue。修改 vite.config.js。修改vite.config.js。修改 src/main.js。修改src/App.vue。
Golang学习笔记20240725，Go语言基础语法
最新发布
Python私教
07-25 626
如果我们在遍历的时候，不想要key或者value，也可以用下划线替代，下划线叫做匿名变量。go语言里面的switch语句每个case天生就是独立的，不需要加break。指针可以直接对内存地址进行操作。使用*表示指针，使用&取地址。切片在go语言里面非常常用，因为其有动态扩展的特性。运行方式3：goland右键运行。使用加号可以对字符串进行拼接。
学习笔记-系统框图传递函数公式推导
weixin_45875994的博客
07-24 942
输出C(s)是前向路径（通过G(s)）的输出与反馈路径（通过H(s)）的输出之差（在负反馈系统中）。因此，我们可以写出以下关系式：这里，G(s)R(s)是前向路径的输出，而G(s)H(s)C(s)是反馈路径的输出（注意，反馈路径的输出先经过H(s)，再与前向路径的输出相减）。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值