DRL经典文献阅读（一）：策略梯度理论（Policy Gradient, PG）

已于 2022-10-17 19:30:39 修改
阅读量718 收藏
点赞数 1
分类专栏： 深度强化学习极简入门与Pytorch实战 文章标签： 策略梯度 强化学习 Approximation
于 2022-10-17 19:15:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/keypig_zz/article/details/106387835
版权
本文深入探讨了策略梯度方法在强化学习中的应用，详细介绍了策略梯度定理及其在函数近似条件下的理论。通过分析策略梯度的表达式和收敛性，阐述了该方法如何用于解决复杂环境的决策问题，并讨论了在实际算法中的优势与实现技巧，如基线函数的选择，以及在函数近似条件下的收敛性分析。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

  • 原文题目：Policy Gradient Methods for Reinforcement Learning with Function Approximation
  • 作者：Richard S. Sutton, David McAllester, Satinder Singh, Yishay Mansour
  • 发表时间：2000年
  • 主要内容：强化学习中使用函数近似的策略梯度方法。得出了策略梯度的表达式，进一步推导了使用函数近似情况下的计算问题，最后证明这样的方法可以收敛到局部最优。

文章目录

了解本专栏 订阅专栏 解锁全文
DRL基础（十一）——策略梯度方法REINFORCE【附代码】
二向箔
09-05 1347
讲解策略梯度基本理论 讲解REINFORCE算法基本原理 基于Pytorch实现REINFORCE算法
DRL:DQN, PG, AC, DDPG, SAC概述
ZYunfei的博客
12-10 1万+
深度强化学习 Deep Reinforcement Learning DQN DQN的出现事实上是解决了Q-learning中state数量的限制，在Q-learning中，无论是state的数量还是action的数量都没法做到很大，而DQN利用神经网络取代了Q-learning中的Q表从而解决了第一个问题：state数量的限制，这是一个novel 的ideal，2013年第一篇论文问世，随之在2015年nature刊登。 先给出一个算法框图，源自一位班级同学： 要是觉得上面这个同学的图过于眼花缭乱，看下
Policy Gradient
CristianoJason的博客
01-22 1032
本文档记录了一些国内外大学关于 policy gradient 相关内容的介绍及个人总结 * http://home.deib.polimi.it/restelli/MyWebSite/pdf/rl7.pdf * http://www0.cs.ucl.ac.uk/staff/D.Silver/web/Teaching_files/pg.pdf * http://lam
文献笔记:Policy Gradient Methods for Reinforcement Learning with Function Approximation
weixin_30530339的博客
04-07 454
本篇论文讨论了策略梯度方法的函数逼近问题。首先明确策略梯度的目标函数：最大化策略$\pi$下的累计回报$\rho(\pi)$ \[\rho ( \pi ) = E \left\{ \sum _ { t = 1 } ^ { \infty } \gamma ^ { t - 1 } r _ { t } | s _ { 0 } , \pi \right\}\] 上式是初始状态为$s_0$的累计回报表达...
Policy Gradient Methods for Reinforcement Learning with Function Approximation 论文精读
明湖小虾的博客
03-29 601
Policy Gradient Methods发表于2000年，是强化学习方法的源头，其中涉及到了策略、状态动作价值、智能体的目标函数、AC算法的原理。 智能体的目标函数的求解方法便是使用基于梯度的方法进行迭代寻优，若问题为凸优化问题，则该问题最终会收敛到全局最优解。
策略梯度方法全析：理论到实践的无瑕过渡
策略梯度方法是强化学习中的关键技术之一，它直接对策略进行参数化并通过优化期望回报来改善决策过程。本文首先概述了策略梯度方法的基本概念，随后深入探讨了其理论基础，包括马尔可夫决策过程和策略梯度算法的核心...
策略梯度深度强化学习：机器人行走仿真源码分析
策略梯度（Policy Gradient，PG）方法是一种直接学习策略的DRL技术，其中策略通常被定义为一个神经网络。策略梯度方法的核心思想是通过梯度上升直接优化策略，使得智能体采取的行为能够最大化预期的累积奖励。不同于...
【文献阅读】17年进化算法和DRL结合的文章
wxmcp3的博客
09-14 1357
Improving Exploration in Evolution Strategies for Deep Reinforcement Learning via a Population of Novelty-Seeking Agents Brief 目前该文已经有了上百的引用量，还是有点厉害。 文章地址 链接 代码链接 code 作者来自佛罗里达大学和openAI Abstract 【开篇明义】Evolution strategies (ES) are a family of black-box opt
【李宏毅2020 ML/DL】P110-111 Policy Gradient & Proximal Policy Optimization
记录学习痕迹的公众号：Piper蛋窝
08-14 709
关于离轨策略的重要性采样的理解，PPO 。
DRL-2018:结合策略梯度方法（香草PG，Actor-Critic，PPO）和进化策略的实验
03-22
DRL-2018 该存储库的功能是2018年夏季深度强化学习研究项目的工作（由Keith Ross教授建议，由纽约大学上海分校院长本科研究基金资助）。 在此项目中，我们尝试将“策略梯度”方法（香草策略梯度（aka REINFORCE），Actor-Critic和PPO）与“进化策略”相结合，以设计出一种提高样本效率的混合算法。 在MuJoCo基准上评估了所提出算法的性能。 参考： 加强：罗纳德·J·威廉姆斯。 用于连接符增强学习的简单统计梯度跟踪算法。 机器学习，8（3-4）：229–256，1992年。 影评人：理查德·萨顿（Richard S Sutton），大卫·麦卡莱斯特（David A McAllester），萨特德·辛格（Satinder P Singh）和伊谢·曼苏（Yishay Mansour）。 通过函数逼近进行强化学习的策略梯度方法。 在《神经信息处理系统的进步
策略梯度（Policy Gradient）
m0_37663944的博客
12-17 427
本章我们主要讲解Policy Based 解决问题： 之前的强化学习算法是Value Based的方法，主要就是根据Q值和V值，进行选择。但是它有以下几个缺点。 第一点是对连续动作的处理能力不足。 第二点是对受限状态下的问题处理能力不足。导致真实环境下本来不同的两个状态却再我们建模后拥有相同的特征描述。 第三点是无法解决随机策略问题。Value Based强化学习方法对应的最优策略通常是确定性策略...
强化学习论文阅读-Policy Gradients with Action-Dependent Baselines 专题
Xixoqw的博客
11-11 908
修改自组会报告ppt。 这种方法的基本思想就是，使用Action-Dependent Baseline来减小PG方法的方差。 Baseline 是 policy gradient 类方法的一个重要的减小方差的手段。并且，baseline的引入并不会导致bias。 在REINFORCE with baseline算法中，就引入了基准值b作为baseline。 这一系列研究方向主要都是针对找到b的估计。 最优的baseline理论上是存在的。出于practical的考虑，一般使用当前状态动作对的价值作bas
【深度强化学习】Policy Gradient
见见大魔王
06-28 726
Basic Components 在强化学习中有三个基本组成： Actor 是行为 action 的发起者，具有有限个可供选择的行为；Environment 是 game 的所处环境，提供 Actor 可看到的画面等；Reward Function 是在 game 中完成某种action 后可以得到的回报。 举个例子，你打开游戏网站4399打单机小游戏，游戏中可用 键盘上的 w，a，s，d 来控制角色上下左右的移动，空格键来开火，游戏规定每击杀一个怪物奖励5分。 那么此时，Actor 就是键.
Policy gradient(策略梯度详解)
ygp12345的博客
10-11 2万+
文章目录策略梯度基本知识什么是策略梯度？强化学习案例策略梯度公式详解如何使你的损失函数更好增加一个基准为每一个action分配不同的权重 策略梯度基本知识 什么是策略梯度？ 直接根据状态输出动作或者动作的概率。那么怎么输出呢，最简单的就是使用神经网络啦！我们使用神经网络输入当前的状态，网络就可以输出我们在这个状态下采取每个动作的概率，那么网络应该如何训练来实现最终的收敛呢？我们之前在训练神经网络时，使用最多的方法就是反向传播算法，我们需要一个误差函数，通过梯度下降来使我们的损失最小。但对于强化学习来说，我们
论文笔记-Deteministic Policy Gradient Algorithms
allen_li123的博客
11-03 608
Deteministic Policy Gradient Algorithms 文章目录Deteministic Policy Gradient Algorithms论文干货on-policy与off-policy 论文干货 论文论证了确定性策略明显优于随机性策略在高维动作空间问题中。 策略梯度算法广泛运用在深度强化学习中的连续控制领域。 策略梯度算法的主要意思是用参数概率分布πθ(a∣s)=P[...
【强化学习】Policy Gradient
hey-yahei
05-20 275
原文链接：https://www.yuque.com/yahei/hey-yahei/rl-policy_gradient 参考： 机器学习深度学习（李宏毅）- Deep Reinforcemen Learning3_1 机器学习深度学习（李宏毅）- Policy Gradient 机器学习深度学习（李宏毅）- Proximal Policy Optimization 策略梯度 策略梯度（Policy Gradient）是一种policy-based的RL算法。 基本形式 ![image.png](ht
【强化学习】Policy Gradient算法详解
热门推荐
shura的技术空间
06-20 7万+
DeepMind公开课https://sites.google.com/view/deep-rl-bootcamp/lectures David Silver教程 http://www0.cs.ucl.ac.uk/staff/d.silver/web/Teaching.html morvanzhou课程https://morvanzhou.github.io/tutorials/...
强化学习入门（一）：什么是Policy Gradient
weixin_45459911的博客
04-17 3970
一、强化学习基础认知 1、强化学习三要素 1、actor (即policy gradient要学习的对象, 是我们可以控制的部分) 2、环境 environment (给定的，无法控制) 3、回报函数 reward function (无法控制) 2、名词介绍 Policy of actor π \omicron（决策）: 如下图（本文图片均来自于李宏毅的强化学习课件，其视频内容可点击此处查看）所...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

二向箔不会思考

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值