DRL经典文献阅读（一）：策略梯度理论（Policy Gradient, PG）

已于 2022-10-17 19:30:39 修改
阅读量672 收藏
点赞数 1
分类专栏： 深度强化学习极简入门与Pytorch实战 文章标签： 策略梯度 强化学习 Approximation
于 2022-10-17 19:15:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/keypig_zz/article/details/106387835
版权
本文深入探讨了策略梯度方法在强化学习中的应用，详细介绍了策略梯度定理及其在函数近似条件下的理论。通过分析策略梯度的表达式和收敛性，阐述了该方法如何用于解决复杂环境的决策问题，并讨论了在实际算法中的优势与实现技巧，如基线函数的选择，以及在函数近似条件下的收敛性分析。
摘要由CSDN通过智能技术生成
  • 原文题目：Policy Gradient Methods for Reinforcement Learning with Function Approximation
  • 作者：Richard S. Sutton, David McAllester, Satinder Singh, Yishay Mansour
  • 发表时间：2000年
  • 主要内容：强化学习中使用函数近似的策略梯度方法。得出了策略梯度的表达式，进一步推导了使用函数近似情况下的计算问题，最后证明这样的方法可以收敛到局部最优。

文章目录

了解本专栏 订阅专栏 解锁全文
DRL-2018:结合策略梯度方法（香草PG，Actor-Critic，PPO）和进化策略的实验
03-22
DRL-2018 该存储库的功能是2018年夏季深度强化学习研究项目的工作（由Keith Ross教授建议，由纽约大学上海分校院长本科研究基金资助）。 在此项目中，我们尝试将“策略梯度”方法（香草策略梯度（aka REINFORCE），Actor-Critic和PPO）与“进化策略”相结合，以设计出一种提高样本效率的混合算法。 在MuJoCo基准上评估了所提出算法的性能。 参考： 加强：罗纳德·J·威廉姆斯。 用于连接符增强学习的简单统计梯度跟踪算法。 机器学习，8（3-4）：229–256，1992年。 影评人：理查德·萨顿（Richard S Sutton），大卫·麦卡莱斯特（David A McAllester），萨特德·辛格（Satinder P Singh）和伊谢·曼苏（Yishay Mansour）。 通过函数逼近进行强化学习的策略梯度方法。 在《神经信息处理系统的进步
DRL基础（十一）——策略梯度方法REINFORCE【附代码】
二向箔
09-05 1269
讲解策略梯度基本理论 讲解REINFORCE算法基本原理 基于Pytorch实现REINFORCE算法
Policy Gradient
GMBai的博客
11-13 4462
李宏毅 课堂笔记 PPO(proximal policy optimal) 字面意思是近似策略优化，是policy gradient的一个变形。 先介绍Policy Gradient 一个轨迹可以看做一幕。 或者是游戏的一个回合，在这种情况下是存在终止状态的，但很多情况下都是没有终止状态的， 这时，就不易区分每一幕是个怎么回事。 Trajectory = {s1,a1,s2,a2,...sT,aTs_1, a_1, s_2 ,a_2,...s_T, a_Ts1​,a1​,s2​,a2​,...s
文献笔记:Policy Gradient Methods for Reinforcement Learning with Function Approximation
weixin_30530339的博客
04-07 437
本篇论文讨论了策略梯度方法的函数逼近问题。首先明确策略梯度的目标函数：最大化策略$\pi$下的累计回报$\rho(\pi)$ \[\rho ( \pi ) = E \left\{ \sum _ { t = 1 } ^ { \infty } \gamma ^ { t - 1 } r _ { t } | s _ { 0 } , \pi \right\}\] 上式是初始状态为$s_0$的累计回报表达...
Policy Gradient Methods for Reinforcement Learning with Function Approximation 论文精读
明湖小虾的博客
03-29 542
Policy Gradient Methods发表于2000年，是强化学习方法的源头，其中涉及到了策略、状态动作价值、智能体的目标函数、AC算法的原理。 智能体的目标函数的求解方法便是使用基于梯度的方法进行迭代寻优，若问题为凸优化问题，则该问题最终会收敛到全局最优解。
策略梯度方法全析：理论到实践的无瑕过渡
策略梯度方法是强化学习中的关键技术之一，它直接对策略进行参数化并通过优化期望回报来改善决策过程。本文首先概述了策略梯度方法的基本概念，随后深入探讨了其理论基础，包括马尔可夫决策过程和策略梯度算法的核心...
策略梯度深度强化学习：机器人行走仿真源码分析
策略梯度（Policy Gradient，PG）方法是一种直接学习策略的DRL技术，其中策略通常被定义为一个神经网络。策略梯度方法的核心思想是通过梯度上升直接优化策略，使得智能体采取的行为能够最大化预期的累积奖励。不同于...
【文献阅读】17年进化算法和DRL结合的文章
wxmcp3的博客
09-14 1289
Improving Exploration in Evolution Strategies for Deep Reinforcement Learning via a Population of Novelty-Seeking Agents Brief 目前该文已经有了上百的引用量，还是有点厉害。 文章地址 链接 代码链接 code 作者来自佛罗里达大学和openAI Abstract 【开篇明义】Evolution strategies (ES) are a family of black-box opt
DRL:DQN, PG, AC, DDPG, SAC概述
ZYunfei的博客
12-10 1万+
深度强化学习 Deep Reinforcement Learning DQN DQN的出现事实上是解决了Q-learning中state数量的限制，在Q-learning中，无论是state的数量还是action的数量都没法做到很大，而DQN利用神经网络取代了Q-learning中的Q表从而解决了第一个问题：state数量的限制，这是一个novel 的ideal，2013年第一篇论文问世，随之在2015年nature刊登。 先给出一个算法框图，源自一位班级同学： 要是觉得上面这个同学的图过于眼花缭乱，看下
【李宏毅2020 ML/DL】P110-111 Policy Gradient & Proximal Policy Optimization
记录学习痕迹的公众号：Piper蛋窝
08-14 697
关于离轨策略的重要性采样的理解，PPO 。
策略梯度（Policy Gradient）
m0_37663944的博客
12-17 421
本章我们主要讲解Policy Based 解决问题： 之前的强化学习算法是Value Based的方法，主要就是根据Q值和V值，进行选择。但是它有以下几个缺点。 第一点是对连续动作的处理能力不足。 第二点是对受限状态下的问题处理能力不足。导致真实环境下本来不同的两个状态却再我们建模后拥有相同的特征描述。 第三点是无法解决随机策略问题。Value Based强化学习方法对应的最优策略通常是确定性策略...
强化学习论文阅读-Policy Gradients with Action-Dependent Baselines 专题
Xixoqw的博客
11-11 886
修改自组会报告ppt。 这种方法的基本思想就是，使用Action-Dependent Baseline来减小PG方法的方差。 Baseline 是 policy gradient 类方法的一个重要的减小方差的手段。并且，baseline的引入并不会导致bias。 在REINFORCE with baseline算法中，就引入了基准值b作为baseline。 这一系列研究方向主要都是针对找到b的估计。 最优的baseline理论上是存在的。出于practical的考虑，一般使用当前状态动作对的价值作bas
【深度强化学习】Policy Gradient
见见大魔王
06-28 714
Basic Components 在强化学习中有三个基本组成： Actor 是行为 action 的发起者，具有有限个可供选择的行为；Environment 是 game 的所处环境，提供 Actor 可看到的画面等；Reward Function 是在 game 中完成某种action 后可以得到的回报。 举个例子，你打开游戏网站4399打单机小游戏，游戏中可用 键盘上的 w，a，s，d 来控制角色上下左右的移动，空格键来开火，游戏规定每击杀一个怪物奖励5分。 那么此时，Actor 就是键.
Policy gradient(策略梯度详解)
ygp12345的博客
10-11 2万+
文章目录策略梯度基本知识什么是策略梯度？强化学习案例策略梯度公式详解如何使你的损失函数更好增加一个基准为每一个action分配不同的权重 策略梯度基本知识 什么是策略梯度？ 直接根据状态输出动作或者动作的概率。那么怎么输出呢，最简单的就是使用神经网络啦！我们使用神经网络输入当前的状态，网络就可以输出我们在这个状态下采取每个动作的概率，那么网络应该如何训练来实现最终的收敛呢？我们之前在训练神经网络时，使用最多的方法就是反向传播算法，我们需要一个误差函数，通过梯度下降来使我们的损失最小。但对于强化学习来说，我们
论文笔记-Deteministic Policy Gradient Algorithms
allen_li123的博客
11-03 598
Deteministic Policy Gradient Algorithms 文章目录Deteministic Policy Gradient Algorithms论文干货on-policy与off-policy 论文干货 论文论证了确定性策略明显优于随机性策略在高维动作空间问题中。 策略梯度算法广泛运用在深度强化学习中的连续控制领域。 策略梯度算法的主要意思是用参数概率分布πθ(a∣s)=P[...
【强化学习】Policy Gradient
hey-yahei
05-20 269
原文链接：https://www.yuque.com/yahei/hey-yahei/rl-policy_gradient 参考： 机器学习深度学习（李宏毅）- Deep Reinforcemen Learning3_1 机器学习深度学习（李宏毅）- Policy Gradient 机器学习深度学习（李宏毅）- Proximal Policy Optimization 策略梯度 策略梯度（Policy Gradient）是一种policy-based的RL算法。 基本形式 ![image.png](ht
【强化学习】Policy Gradient算法详解
热门推荐
shura的技术空间
06-20 7万+
DeepMind公开课https://sites.google.com/view/deep-rl-bootcamp/lectures David Silver教程 http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html morvanzhou课程https://morvanzhou.github.io/tutorials/...
强化学习入门（一）：什么是Policy Gradient
weixin_45459911的博客
04-17 3942
一、强化学习基础认知 1、强化学习三要素 1、actor (即policy gradient要学习的对象, 是我们可以控制的部分) 2、环境 environment (给定的，无法控制) 3、回报函数 reward function (无法控制) 2、名词介绍 Policy of actor π \omicron（决策）: 如下图（本文图片均来自于李宏毅的强化学习课件，其视频内容可点击此处查看）所...
请帮我写一段DRL在自动驾驶中车辆控制的综述
最新发布
06-12
深度强化学习（Deep Reinforcement Learning, DRL）已成为自动驾驶领域的热门技术之一，其在车辆控制方面的应用也得到了广泛研究。车辆控制是自动驾驶中最核心的技术之一，它不仅需要对车辆的速度、加速度、转向等基本参数进行控制，还需要考虑到车辆的周围环境信息，如道路状况、交通信号灯、前方车辆行驶信息等，以保证车辆在复杂的交通环境中行驶安全。 在DRL技术中，车辆控制问题可以被视为一个强化学习问题。强化学习通过学习最优策略来使智能体（如自动驾驶车辆）在环境中实现目标，其中智能体通过与环境交互获得奖励信号，以指导其行为的优化。在车辆控制中，DRL技术可以通过学习最优的控制策略来驱动车辆行驶，同时考虑到周围环境信息，如交通信号灯、前车行驶信息等，以实现自动驾驶的目标。 近年来，DRL在自动驾驶车辆控制方面的应用已经得到了广泛研究。一些研究使用DRL技术来训练控制策略，如深度Q网络（Deep Q-Network, DQN）、策略梯度（Policy Gradient, PG）等。例如，研究者已经使用DQN来训练车辆在高速公路上行驶，并成功实现了自动驾驶的目标。PG方法也被用于训练车辆在城市道路上行驶，并可以考虑到交通信号灯和前车行驶信息等。 除了DQN和PG方法外，还有一些新的DRL方法被应用于自动驾驶车辆控制领域，如双重DQN（Double DQN）、深度确定性策略梯度（Deep Deterministic Policy Gradient, DDPG）等。这些方法可以进一步提高自动驾驶的效果和性能。 总之，DRL技术在自动驾驶车辆控制中的应用已经取得了许多进展，未来还有很大的研究空间和发展潜力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

二向箔不会思考

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值