《reinforcement learning：an introduction》第十章《On-policy Control with Approximation》总结

最新推荐文章于 2023-03-29 00:52:20 发布
最新推荐文章于 2023-03-29 00:52:20 发布
阅读量942 收藏 1
点赞数
分类专栏： （深度）增强学习 文章标签： 增强学习 sutton RL reinforcement learni an introduction
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mmc2015/article/details/76926070
版权

由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。

对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。

因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。




The present chapter features the semi-gradient Sarsa algorithm（即 On-policy Control with Approximation）, the natural extension of semi-gradient TD(0) (last chapter) to action values and to on-policy control. 




In the episodic case, the extension is straightforward。


n-step Semi-gradient 

最低0.47元/天 解锁文章
mmc2015
关注
专栏目录
强化学习系列（十）：On-policy Control with Approximation
LagrangeSK的博客
08-24 2666
一、前言 本章我们关注on-policy control 问题，这里采用参数化方法逼近action-value函数 q̂ (s,a,w)≈q(s,a)q^(s,a,w)≈q(s,a)\hat q(s,a,\mathbf w) \approx q(s,a)，其中，ww\mathbf w为权重向量。在11章中会讨论off-policy方法。本章介绍了semi-gradient Sarsa算...
《reinforcement learning：an introduction》第九章《On-policy Prediction with Approximation》总结
mmc2015的专栏
08-07 1415
由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。 对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。 因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。 9.1 Value-function Approximation . . . . . . .
强化学习导论 | 第10章 On-policyControl with Approximation
Firmiana1220的博客
04-28 490
上一章讲了on-policy策略下，怎样估计状态价值函数，也就是“预测”任务。对应的还有一个“控制”任务，就是要找到最优策略。并且，在控制任务中，我们现在要估计的是动作价值函数，即q^(s,a,w)≈q∗(s,a)\hat{q}(s, a, \mathbf{w}) \approx q_*(s, a)q^​(s,a,w)≈q∗​(s,a)，其中w∈Rd\mathbf{w} \in \mathbb{R...
RLAI读书笔记-第十章-On-policy Control with Approximation
cuixuange的博客
08-31 227
On-policy Control with Approximation 策略的行动状态价值 Q(S,A)的近似值Q(S,A,W) 10.1 Episode Semi-gradient Control e.g. 半梯度的one-step Sarsa 伪代码P266 state-action的状态的价值的近似 动作离散 的example:—小车上山 解释: https://zhuan...
10、On-policy Control with Approximation
JacobJiang的博客
04-28 142
文章目录1、Episodic Semi-gradient Control2、n-step Semi-gradient Sarsa   1、Episodic Semi-gradient Control 近似控制是求策略的动作值函数，q^≈qπ\hat{q} \approx q_\piq^​≈qπ​ ，表示为权重向量 θ\thetaθ 的参数化函数。 一般的动作值预测的梯度下降更新为： ...
《reinforcement learning：an introduction》第三章《Finite Markov Decision Processes》总结
mmc2015的专栏
07-12 1475
由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。 对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。 因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。 应用RL解决实际问题，目前已有的算法总的来说还是可以的，主要是要设计好能够反映问题本质的state/rewa
强化学习系列（九）：On-policy Prediction with Approximation
LagrangeSK的博客
08-22 4440
一、前言 针对 on-policy prediction 问题，用function approximate 估计 state-value function的创新在于：value function 不再是表格形式，而是权重参数为w的数学表达式，即，其中 v̂ v^\hat v 可以是state的线性函数，也可以是一个多层人工神经网络（ANN），也可以是一个决策树。值得注意的是，权重ww\...
强化学习（RLAI）读书笔记第十章On-Policy Control with Approximation
无所知的博客
09-13 1163
目前继续考虑on-policy的带逼近的control算法。这章主要介绍半梯度Sarsa算法，也就是半梯度TD(0)算法对于动作值估计以及on-policy control算法的自然延伸。虽然这个延伸对于episodic的情况是很自然的，但是对于continuing的情况，我们需要再次考虑对于discounting方法来定义一个最优策略的方式。而当我们使用函数逼近的时候需要放弃discountin...
On-policy 控制近似方法
qq_46013251的博客
09-14 249
On-policy 控制近似方法回合半梯度控制案例：陡坡汽车任务半梯度 n-步 Sarsa平均奖励：持续性任务的新问题设置案例：一个访问控制队列任务弃用折扣设置差分半梯度 n-步 Sarsa参考 回合半梯度控制 将半梯度预测方法推广到动作价值上，这种情况下是动作-价值函数 q^≈qπ\hat{q} \approx q_\piq^​≈qπ​ 的近似，其表示为带有权重向量 w\mathbf{w}w 的参数化函数形式 现在我们考虑形式 St,At↦UtS_t , A_t \mapsto U_tSt​,At​↦Ut
10. 基于近似的on-policy控制方法--阅读笔记【Reinforcement Learning An Introduction 2nd】
木易进
08-24 416
文章目录基于近似的on-policy控制方法前言1. episodic半梯度控制2.半梯度n-step sarsa3.平均奖励：针对连续任务的一种新的回报形式4.弃用折扣设置deprecating the discounting setting5. 微分半梯度n-step sarsa算法总结 基于近似的on-policy控制方法 前言 本章将讲解控制问题，也就是如何找到一个优化策略。结合上一节参数化的方法，动作值函数的拟合函数q^(s,a,w)≈q∗(s,a)\hat{q}(s,a,\mathbf{w})\
Policy Gradient Methods for Reinforcement Learning with Function Approximation
人工智能
04-20 8259
Function approximation is essential to reinforcement learning, but the standard approach of approximating a value function and determining a policy from it has so far proven theoretically intractable.
Policy Gradient Methods forReinforcement Learning with Function Approximation
小蚂蚁与大象
09-03 341
主要的新结果是，梯度可以写成一种适合在近似动作值或优势函数的帮助下从经验中进行估计的形式。利用这个结果，首次证明了具有任意可微函数逼近的策略迭代收敛于局部最优策略。函数逼近对强化学习至关重要，但到目前为止，逼近值函数并从中确定策略的标准方法在理论上是难以解决的。给出定理2，我们可以首次证明一种具有函数逼近的策略迭代形式收敛于局部最优策略。对于任何一种MDP，无论是在平均奖励还是开始状态的公式中。
Policy Gradient Methods for Reinforcement Learning with Function Approximation 论文精读
明湖小虾的博客
03-29 376
Policy Gradient Methods发表于2000年，是强化学习方法的源头，其中涉及到了策略、状态动作价值、智能体的目标函数、AC算法的原理。 智能体的目标函数的求解方法便是使用基于梯度的方法进行迭代寻优，若问题为凸优化问题，则该问题最终会收敛到全局最优解。
文献笔记:Policy Gradient Methods for Reinforcement Learning with Function Approximation
weixin_30530339的博客
04-07 392
本篇论文讨论了策略梯度方法的函数逼近问题。首先明确策略梯度的目标函数：最大化策略$\pi$下的累计回报$\rho(\pi)$ \[\rho ( \pi ) = E \left\{ \sum _ { t = 1 } ^ { \infty } \gamma ^ { t - 1 } r _ { t } | s _ { 0 } , \pi \right\}\] 上式是初始状态为$s_0$的累计回报表达...
paper2-Policy Gradient Methods for Reinforcement Learning with Function Approximation
weixin_45650561的博客
08-05 691
Policy Gradient Methods for Reinforcement Learning with Function Approximation一、新收获1、对文章段落的理解和收获abstract(1)、Policy Gradient Theorem二、问题残留--待解决1、三、结束 一、新收获 1、对文章段落的理解和收获 abstract 直接指出policy gradient是根据期望奖励的梯度更新参数的。 本文提出的主要新方法为：梯度可以 以近似作用值（an approximate act
Policy Gradient Methods for Reinforcement Learning with Functionn Approximation (PG强化学习) 论文翻译
weixin_43590290的博客
08-31 1278
Policy Gradient Methods for Reinforcement Learning with Functionn Approximation Richard S. Sutton, David McAllester, Satinder Singh & Yishay Mansour Abstract 函数逼近对强化学习至关重要，但迄今为止，逼近值函数并从中确定策略的标准方...
《reinforcement learning：an introduction》第十三章《Policy Gradient Methods》总结
mmc2015的专栏
08-15 1496
由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。 对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。 因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。 13.1 Policy Approximation and its Advantages . . . . . . . .
reinforcement learning: an introduction.pdf
最新发布
07-21
《强化学习导论》（Reinforcement Learning: An Introduction）是Richard S. Sutton和Andrew G. Barto合作编写的一本经典教材，是强化学习领域的一本重要参考书。该书系统地介绍了强化学习的基本概念、算法和应用。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值