PPO算法基本原理（李宏毅课程学习笔记）

最新推荐文章于 2023-06-30 17:06:28 发布
最新推荐文章于 2023-06-30 17:06:28 发布
阅读量820 收藏 12
点赞数
分类专栏： 强化学习 文章标签： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ningmengzhihe/article/details/131457536
版权

PPT来源

PPT来自李宏毅大神强化学习的教学视频，我在每一页上做了讲解笔记，希望给对PPO算法原理感兴趣的小伙伴能够带来一点点答疑解惑

下面上PPT来喽！！！slice上紫色文字是我的注释、理解、公式推导的补充

请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述
请添加图片描述

好程序不脱发
关注
  • 0
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
李宏毅强化学习ppo算法ppt
04-11
李宏毅强化学习ppo算法ppt
李宏毅老师2021深度学习课程笔记.pdf
10-08
2021春季李宏毅老师深度学习课程笔记（神经网络训练不起来处理方法+分类的数学原理）
【李宏毅深度强化学习笔记】2、Proximal Policy Optimization算法(PPO)
ACL_lihan的博客
01-15 1万+
【李宏毅深度强化学习笔记】1、策略梯度方法（Policy Gradient） 【李宏毅深度强化学习笔记】2、Proximal Policy Optimization (PPO) 算法（本文） 【李宏毅深度强化学习笔记】3、Q-learning（Basic Idea） 【李宏毅深度强化学习笔记】4、Q-learning更高阶的算法 【李宏毅深度强化学习笔记】5、Q-learning用于连续动...
李宏毅强化学习笔记【1.PPO】
*晴儿*的博客
01-17 305
策略梯度Policy Gradient policy决定actor的行为，给定一个输入，输出行为 公式和之前讲的一样 R是一个τ的总分！！！！！！！！！！！不是单个s，a的reward tip1：add baseline 之前说过 tip2：这个action之前的reward与这个action无关，所以只计算该action和action之后的reward。...
深度强化学习笔记之PPO算法理解（1）
Azahaxia的博客
05-27 8338
深度强化学习笔记之PPO算法理解（1） 笔记内容来源于李宏毅老师的深度强化学习的PPT。 关于PPO（Proximal Policy Optimization），李老师分为了三个部分进行了介绍。 Policy Gradient：该方法是PPO的前身，与基于价值的强化学习方法不同，策略梯度法是对策略进行更新； On-policy | Off-policy Add constraint：对Policy Gradient进行一些限制，前者就变成了PPO。 1.Policy Gradient 与基于价值的强化
【李宏毅深度强化学习2018】P2 Proximal Policy Optimization (PPO)
野心家-Andy的博客
10-21 6389
                         第二讲 Proximal Policy Optimization(PPO) 视频地址：https://www.bilibili.com/video/av24724071 课件地址：http://speech.ee.ntu.edu.tw/~tlkagk/courses_MLDS18.html 第一讲整理：【李宏毅深度强化学习2018】P1 ...
【笔记2-2】李宏毅深度强化学习笔记（二）Proximal Policy Optimization (PPO)
热门推荐
cindy_1102的博客
02-24 3万+
李宏毅强化学习- Proximal Policy OptimizationPolicy GradientTerms and basic ideasPolicy Gradient:From on-policy to off-policy ——Using the experience more than onceTerms and basic ideasPPO algorithm: Policy Gr...
李宏毅强化学习视频学习笔记（三）——PPO与PPO2
weixin_42421591的博客
08-11 1221
讲解PPO与PPO2
PPO算法基本原理及流程图（KL penalty和Clip两种方法）
ningmengzhihe的博客
06-30 1万+
PPO算法基本原理及流程图（KL penalty和Clip两种方法）
李宏毅机器学习笔记
01-18
李宏毅机器学习笔记，文档文件，笔记全面，总结充分，仅供学习
李宏毅学习笔记的PDF版
04-22
李宏毅老师的机器学习视频是机器学习领域经典的中文视频之一，也被称为中文世界中最好的机器学习视频。李老师以幽默风趣的上课风格让很多晦涩难懂的机器学习理论变得轻松易懂，并且老师会通过很多有趣的例子结合机器...
李宏毅机器学习学习笔记
08-05
李宏毅机器学习学习笔记 本资源主要介绍了 Adaptive Learning Rate 的基本思想和方法，以及相关的算法和策略，如 Adgrad、RMSProp、Adam、Learning Rate Decay、Warm Up 等。 Adaptive Learning Rate 的主要思想是...
DQN基本概念和算法流程（附Pytorch代码）
ningmengzhihe的博客
04-14 9197
DQN，Deep Q Network本质上还是Q learning算法，它的算法精髓还是让Q估计​尽可能接近Q现实​，或者说是让当前状态下预测的Q值跟基于过去经验的Q值尽可能接近。在后面的介绍中Q现实​也被称为TD Target相比于Q Table形式，DQN算法用神经网络学习Q值，我们可以理解为神经网络是一种估计方法，神经网络本身不是DQN的精髓，神经网络可以设计成MLP也可以设计成CNN等等，DQN的巧妙之处在于两个网络、经验回放等trick。
Policy Gradient策略梯度算法详解
ningmengzhihe的博客
05-16 4407
Policy Gradient策略梯度算法原理
Q-learning算法介绍
ningmengzhihe的博客
04-07 2324
Q-learning算法原理
强化学习 OpenAI Gym Universe Docker在Windows WSL 2安装配置最全的全记录
ningmengzhihe的博客
02-02 2288
1. 事情的起源 全记录事情的起源是为了学习Python强化学习实战，先在自己的windows操作系统的Pycharm+Anaconda+Gym配置下运行成功了CartPole示例和CarRacing示例，接着运行Universe，据说OpenAI Universe需要在Docker的镜像下运行，在安装Docker的时候偶然遇到了WSL 2，既然windows有WSL 2的Linux环境，那么直接在Linux分发上做运行，然而从此事情变得不简单了。 2. 在Win10家庭版上安装Docker 下载安装Doc
DQN玩Atari游戏安装atari环境bug指南
ningmengzhihe的博客
05-29 2101
1.遇到bug：缺少atari.py怎么办 →在pypi.org官网上下载atari_py-0.2.9-cp36-cp36m-win_amd64.whl，因为我安装的python环境是3.6版本，在Anaconda Prompt里边将目录定位在whl的下载路径，pip install atari_py-0.2.9-cp36-cp36m-win_amd64.whl 安装成功啦 2.遇到bug：ROM找不到环境怎么办 这句bug里边链接了Github的一个网站，https://github.com/openai
强化学习小车爬山进阶QLearning→A3C
ningmengzhihe的博客
06-03 1035
随机选择action 特别感谢这位博主的分享，代码亲测注释详细、效果超群 https://blog.csdn.net/weixin_42454034/article/details/111194389 QLearning选择action 同样非常感谢这位博主的分享，代码亲测注释详细、效果超群 https://blog.csdn.net/weixin_42454034/article/details/111194389 A3C训练小车爬山 感谢这位博主的分享，这是一份言简意赅的代码，训练过程中小车..
李宏毅强化学习ppo算法
最新发布
09-09
PPO（Proximal Policy Optimization）是一种强化学习算法，由李宏毅老师进行了介绍。PPO可以分为三个部分进行理解和讨论。 首先，PPO与Policy Gradient方法相关。Policy Gradient方法是PPO的前身，与基于价值的强化学习方法不同，策略梯度法是对策略进行更新。 PPO在Policy Gradient的基础上进行了一些改进和限制，从而形成了PPO算法。 其次，PPO可以区分为"On-policy"和"Off-policy"两种方式。 "On-policy"是指我们自己训练，然后自己学习的方式。而"Off-policy"则是指我们可以旁观别人的训练，从而得到学习。这两种方式在PPO中有着不同的应用和效果。 总结来说，PPO是一种基于策略梯度的强化学习算法，通过对策略进行更新来实现学习。它可以通过"On-policy"和"Off-policy"两种方式进行训练和学习。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值