强化学习（RLAI）读书笔记第十章On-Policy Control with Approximation

最新推荐文章于 2023-02-13 17:06:28 发布
最新推荐文章于 2023-02-13 17:06:28 发布
阅读量1.1k 收藏 5
点赞数 1
分类专栏： 强化学习 文章标签： RLAI
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_25037903/article/details/82669594
版权

目前继续考虑on-policy的带逼近的control算法。这章主要介绍半梯度Sarsa算法，也就是半梯度TD(0)算法对于动作值估计以及on-policy control算法的自然延伸。虽然这个延伸对于episodic的情况是很自然的，但是对于continuing的情况，我们需要再次考虑对于discounting方法来定义一个最优策略的方式。而当我们使用函数逼近的时候需要放弃discounting并且转到一个新的平均反馈的控制机制。

这章显示将上一章中的函数逼近方法延伸到episodic形势下的动作值函数。然后又拓展到泛化收敛机制on-policy GPI下的控制算法。接着展示了n步线性Sarsa算法在mountain car问题中的结果。之后又转向了continuing的情况，并且复述了使用差值来建立平均反馈的想法的发展过程。

10.1 Episodic Semi-gradient Control

将上节中的函数逼近从状态值函数形式延伸到状态动作值函数是很直接的。直接将相应的更新目标从状态值函数估计更改为状态动作值函数估计U_{t}即可，比如可以使用MC反馈或者任意的n步Sarsa反馈值。对于参数，更新的迭代公式为：

比如对于一步Sarsa算法来说更新公式为：

这个方法叫做episodic semi-gradient one-step Sarsa。对于一个固定策略来说，算法会收敛到和TD(0)一样的形式以及一样的上界。为了组成control算法，我们需要将这个更新过程和对于策略的改进以及动作的选择结合起来。对于连续的动作或者大型的离散动作集合来说，还没有一个清晰的解决方式。但是对于离散且非大型的动作集合，可以直接使用前面章节使用的方法。也就是说，对于特定状态S_{t}可以计算每个可行动作的值函数估计\widehat{q}(S_{t},a,w_{t})，然后选择贪婪动作，也就是值最大的动作。而policy improvement也就可以通过改变当前的策略到一个贪婪策略的软逼近比如\epsilon-greedy。动作的选择也是根据这个当前策略。伪代码如下：

最低0.47元/天 解锁文章
无所知
关注
专栏目录
强化学习系列（十）：On-policy Control with Approximation
LagrangeSK的博客
08-24 2666
一、前言 本章我们关注on-policy control 问题，这里采用参数化方法逼近action-value函数 q̂ (s,a,w)≈q(s,a)q^(s,a,w)≈q(s,a)\hat q(s,a,\mathbf w) \approx q(s,a)，其中，ww\mathbf w为权重向量。在11章中会讨论off-policy方法。本章介绍了semi-gradient Sarsa算...
强化学习读书笔记_0
小小小程序员的博客
03-12 286
强化学习读书笔记 - 10 - on-policy控制的近似方法 学习笔记： Reinforcement Learning: An Introduction, Richard S. Sutton and Andrew G. Barto c 2014, 2015, 2016 参照 Reinforcement Learning: An Introduction, Richard S. Su
10、On-policy Control with Approximation
JacobJiang的博客
04-28 142
文章目录1、Episodic Semi-gradient Control2、n-step Semi-gradient Sarsa   1、Episodic Semi-gradient Control 近似控制是求策略的动作值函数，q^≈qπ\hat{q} \approx q_\piq^​≈qπ​ ，表示为权重向量 θ\thetaθ 的参数化函数。 一般的动作值预测的梯度下降更新为： ...
第十章 强化学习
weixin_39721214的博客
08-18 798
文章目录第十章 强化学习10.1 强化学习的主要特点？10.1.1 定义10.2 强化学习应用实例10.3 强化学习和监督式学习、非监督式学习的区别10.3.1 强化学习和监督式学习的区别：10.3.2 强化学习和非监督式学习的区别：10.4 强化学习主要有哪些算法？10.5 深度迁移强化学习算法10.6 分层深度强化学习算法10.7 深度记忆强化学习算法10.8 多智能体深度强化学习算法10.9...
强化学习导论 | 第10章 On-policyControl with Approximation
Firmiana1220的博客
04-28 490
上一章讲了on-policy策略下，怎样估计状态价值函数，也就是“预测”任务。对应的还有一个“控制”任务，就是要找到最优策略。并且，在控制任务中，我们现在要估计的是动作价值函数，即q^(s,a,w)≈q∗(s,a)\hat{q}(s, a, \mathbf{w}) \approx q_*(s, a)q^​(s,a,w)≈q∗​(s,a)，其中w∈Rd\mathbf{w} \in \mathbb{R...
强化学习（RLAI）读书笔记第九章On-policy Prediction with Approximation
无所知的博客
09-12 5735
这一章学习使用on-policy的数据对状态值函数进行逼近，也就是在策略下估计值函数。这一章的重点在于估计的值函数不是使用表格来表示而是使用参数w的函数形式。一般来说权重参数的数量是远远比状态的数量要小的，而且改变一个权重的大小会影响到很多个状态值的估计。于是一个值函数的更新会带来很多其它值函数的改变。这种泛化能力非常有用但更难操作和理解。 而且把强化学习延伸到函数逼近的形式也使得它能够应用于部...
强化学习（RLAI）读书笔记第十一章 Off-policy Methods with Approximation
无所知的博客
09-15 2545
本书第五章就已经讲解过分别使用on-policy和off-policy方法来解决GPI框架里固有的explore和exploit的矛盾。前两章已经讲了on-policy情形下对于函数近似的拓展，本章继续讲解off-policy下对函数近似的拓展，但是这个拓展比on-policy时更难更不同。在第六第七章中讲到的off-policy方法可以拓展到函数近似的情况下，但是这些方法在半梯度法下不能像在on...
RLAI读书笔记-第九章-On-policy Prediction with Approximation
cuixuange的博客
08-31 190
On-policy Predicttion with Approximation 策略π的状态价值的近似值 值函数逼近==>在有限状态集推广到更大的集合并有良好近似效果 (table lookup对于大规模数据很难解决) V线性函数,W特征权重向量 V神经网络,W layers之间的链接权重 V决策树,W split points? 9.1 value-function App...
RLAI读书笔记-第十三章-Policy Gradient Methods
cuixuange的博客
09-03 276
policy gradient Methods Model Free的策略梯度 直接策略搜索 值函数:策略评估+策略改善 ==》值函数最优，策略就是最优的的 ==》value-based method 策略搜索: 对于策略π进行参数化表示 π(a|s,θ)==》policy-based method 13.1 Policy Approximation https://zhuanlan...
强化学习进阶书籍
08-22
Reinforcement Learning 强化学习进阶书籍
On-policy 控制近似方法
qq_46013251的博客
09-14 249
On-policy 控制近似方法回合半梯度控制案例：陡坡汽车任务半梯度 n-步 Sarsa平均奖励：持续性任务的新问题设置案例：一个访问控制队列任务弃用折扣设置差分半梯度 n-步 Sarsa参考 回合半梯度控制 将半梯度预测方法推广到动作价值上，这种情况下是动作-价值函数 q^≈qπ\hat{q} \approx q_\piq^​≈qπ​ 的近似，其表示为带有权重向量 w\mathbf{w}w 的参数化函数形式 现在我们考虑形式 St,At↦UtS_t , A_t \mapsto U_tSt​,At​↦Ut
《reinforcement learning：an introduction》第十章《On-policy Control with Approximation》总结
mmc2015的专栏
08-08 942
由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。 对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。 因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。 The present chapter features the semi-gradient Sar
《reinforcement learning：an introduction》第十一章《Off-policy Methods with Approximation》总结
mmc2015的专栏
08-08 747
由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。 对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。 因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。 The tabular off-policy methods developed in Chap
《强化学习》中的第10章：基于函数逼近的同轨策略控制
记录学习痕迹的公众号：Piper蛋窝
03-11 1055
本次笔记对《强化学习（第二版）》第十章进行概括性描述。
《reinforcement learning：an introduction》第九章《On-policy Prediction with Approximation》总结
mmc2015的专栏
08-07 1415
由于组里新同学进来，需要带着他入门RL，选择从silver的课程开始。 对于我自己，增加一个仔细阅读《reinforcement learning：an introduction》的要求。 因为之前读的不太认真，这一次希望可以认真一点，将对应的知识点也做一个简单总结。 9.1 Value-function Approximation . . . . . . .
强化学习导论 | 第七章 n步时序差分算法
Firmiana1220的博客
03-19 2457
前面讲到了MC(蒙特卡洛方法)和TD(0)算法。MC方式是根据采样到的经验轨迹实际得到的奖励来更新轨迹中出现的状态的价值，即在每个轨迹结束之后更新。TD(0)方法中某个状态的价值是根据从当前状态走一步的即时奖励和后续状态的估计价值相加得来的，即在执行一个动作之后就更新价值。 那么，能否将MC和TD(0)结合呢？基于这个想法，就产生了n步时序差分算法。即在某个状态的价值等于在当前状态下走n步得到的奖...
《强化学习Sutton》读书笔记（三）——动态规划（Dynamic Programming）
yucong96的博客
09-04 1616
此为《强化学习》第四章。 策略评估 策略评估 (Policy Evaluation) 首先考虑已知策略π(a|s)π(a|s)\pi(a|s)，求解vπ(s)vπ(s)v_\pi(s)。根据上一节中状态值函数的Bellman等式，有 vπ(s)=∑aπ(a|s)∑s′∑rp(s′,r|s,a)[r+γvπ(s′)]vπ(s)=∑aπ(a|s)∑s′∑rp(s′,r|s,a)[r+γvπ(...
强化学习笔记-03有限马尔可夫决策过程MDP
tostq的专栏
02-13 462
强化学习，Reinforcement Learning- An introduction，有限马尔可夫决策过程MDP，Bellman equation，Markov Decision Processes
IEF评价matlab程序
最新发布
08-24
此外，还可以参考一些机器学习的经典书籍，如PRML、ESL、MLAPP、西瓜书、花书、RLAI和统计学习方法等，以获取更深入的评价和分析。<span class="em">1</span><span class="em">2</span><span class="em">3 #### 引用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值