RLAI读书笔记-第七章-n-Step TD

最新推荐文章于 2022-11-24 10:34:50 发布
最新推荐文章于 2022-11-24 10:34:50 发布
阅读量384 收藏
点赞数
分类专栏： machine-learning 强化学习基础 文章标签： RLAI 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014297722/article/details/82153123
版权

n-step Bootstraping

7.1 prediction
example P167
大规模的随机行走

T(λ)向前 向后观点
7.2 sarsa control

7.3 off-policy Learning
重要性采样
7.5 off-policy without importantce Sampling

总结
频率启发 frequency Heuristic 将原因归因于频率出现最高的状态
就近启发 recency Heuristic 将原因归因于就近的几次状态

λ收获:
任意n步的reward添加权重 (1-λ)*λ^(n-1)
所以所有步数的权重为 1-λ (1-λ)*λ 。。。。。所有权重加起来的和为1
λ取值区间为[0,1]，当λ=1时对应的就是MC算法

cuixuange
关注
专栏目录
强化学习笔记-07 n-step Bootstrapping 多步TD时分学习
tostq的专栏
06-01 819
上一节介绍了TD算法，其采用了Bootstrapping方法，当前过去的预估以及即期收益来更新累积收益函数：前文我们提到，通过Bootstrapping TD算法，相比于，可以加快学习速度，但另一方面在更新累积收益函数时会存在可能偏差。而n-step TD算法就是两种算法的中间结合，其在经过n步的。
强化学习（RLAI）读书笔记第七章n步自举（n-step Bootstrapping）
无所知的博客
09-05 3176
第七章：n-step Bootstrapping 这一章中我们把蒙特卡洛算法(MC)和一步差分算法(one-step TD)统一起来。MC算法和一步TD算法都不可能永远是最好的。这两个方法都是比较极端的形式，可能使用它们中间形式会更好一些。另一个看待n步TD算法的优势的角度是它解决了固定时间步骤的缺点。比如一步TD算法固定了每次选择动作和更新值的时间间隔。很多应用中想要把发生的改变快速更新到值函...
webservice无法理解soap头action_[强化学习]从火车过桥模型理解n-step TD Learning
weixin_39880621的博客
11-18 431
引言：先回忆一下我们学过Monte Carlo和TD learning，Monte Carlo方法需要从某一时刻状态采样到终止状态过程中的累计收益才能更新对应状态价值，这意味这它必须走完完整episode才能更新Q值；而TD learning则只需要后面一步的单个即时收益和下一个状态的估计值通过差分思想来更新当前状态的(由于只看1步，也称one-step TD learning)。因此，这两种算...
深度强化学习中利用N-步TD预测算法在随机漫步应用中实战（超详细 附源码）
showswoller的博客
11-24 582
深度强化学习中利用N-步TD预测算法在随机漫步应用中实战（超详细 附源码）
《强化学习Sutton》读书笔记（六）——n步Bootstrapping（n-step Bootstrapping）
yucong96的博客
09-07 1133
此为《强化学习》第七章 n-step Bootstrapping 。 nnn步Bootstrapping是MC和TD(0)的综合。随着对参数nnn的调整，我们可以看到TD是如何过渡到MC的。而最佳的方法往往就是介于TD和MC之间。 nnn步TD估计 在上一章的TD(0)方法中，我们有 v(St)←v(St)+α(Gt−v(St))v(St)←v(St)+α(Gt−v(St)) v(S_...
RLAI读书笔记-第九章-On-policy Prediction with Approximation
cuixuange的博客
08-31 203
On-policy Predicttion with Approximation 策略π的状态价值的近似值 值函数逼近==>在有限状态集推广到更大的集合并有良好近似效果 (table lookup对于大规模数据很难解决) V线性函数,W特征权重向量 V神经网络,W layers之间的链接权重 V决策树,W split points? 9.1 value-function App...
RLAI读书笔记-第十二章-Eligibility Traces
cuixuange的博客
09-03 385
12 Eligibility Traces 10章的近似函数扩展 Wt+1 = Wt + α * {Vπ(St) - V^(S,W)} * ▽wV^(S,W) 公式P223 1.α是步长 误差{Vπ(St) - V^(S,W)}变大 则α需要变小 2.Vπ(St) 即Gt通过本章的λ-return计算 3. ▽wV^(S,W) 通过资格迹来优化看第九章 资格迹==优化后的函数微分(...
强化学习（RLAI）读书笔记第六章差分学习（TD-learning）
无所知的博客
09-04 5431
第六章：Temporal-Difference Learning TD-learning算法是强化学习中一个独具特色而又核心的想法，结合了蒙特卡洛算法和动态规划的想法。和MC一样不需要环境模型直接从sample里学习，也像DP一样使用bootstrap通过别的状态值的估计更新当前状态值。首先也关注的是给定策略进行prediction或者叫policy evaluation。对于control（找...
强化学习（RLAI）读书笔记第九章On-policy Prediction with Approximation
无所知的博客
09-12 5771
这一章学习使用on-policy的数据对状态值函数进行逼近，也就是在策略下估计值函数。这一章的重点在于估计的值函数不是使用表格来表示而是使用参数w的函数形式。一般来说权重参数的数量是远远比状态的数量要小的，而且改变一个权重的大小会影响到很多个状态值的估计。于是一个值函数的更新会带来很多其它值函数的改变。这种泛化能力非常有用但更难操作和理解。 而且把强化学习延伸到函数逼近的形式也使得它能够应用于部...
7、n-step Bootstrapping（TD、Sarsa、Tree Backup、Q(σ) ）
JacobJiang的博客
04-21 896
文章目录1、n-step TD Prediction2、n-step Sarsa Multi-step TD 方法对MC方法和TD(0)方法进行了推广，且表现更佳。 MC方法：对一个完整的episode进行计算值函数 TD(0)方法：episode中每执行一步进行计算值函数 如下图所示： 1、n-step TD Prediction MC方法的评估值函的更新方式使用完整的回报（下面的等式称为t...
强化学习系列（七）：n-step Bootstrapping (步步为营）
LagrangeSK的博客
08-02 9663
一、前言 在强化学习系列（五）：蒙特卡罗方法（Monte Carlo)和强化学习系列（六）：时间差分算法（Temporal-Difference Learning)中，我们介绍了两种用于求解环境模型未知的MDP方法：MC和TD，MC是一种每episode更新一次的方法，TD是单步更新的方法，n-step Bootstrapping （步步为营）是一种介于TD和MC之间的方法，n-step更新一次...
强化学习导论 | 第七章 n步时序差分算法
Firmiana1220的博客
03-19 2517
前面讲到了MC(蒙特卡洛方法)和TD(0)算法。MC方式是根据采样到的经验轨迹实际得到的奖励来更新轨迹中出现的状态的价值，即在每个轨迹结束之后更新。TD(0)方法中某个状态的价值是根据从当前状态走一步的即时奖励和后续状态的估计价值相加得来的，即在执行一个动作之后就更新价值。 那么，能否将MC和TD(0)结合呢？基于这个想法，就产生了n步时序差分算法。即在某个状态的价值等于在当前状态下走n步得到的奖...
动手强化学习——简述
rylrmr的博客
10-06 757
强化学习简述
强化学习-An introduction之 n-step Bootstrapping 个人笔记
MrTriste的博客
07-06 1107
Chapter 7 n-step Bootstrapping 什么是bootstrapping？ 第四章summary中讲到：That is, they update estimates on the basis of other estimates. We call this general idea bootstrapping。 即在其他估计的基础上更新估计，比如根据其他状态的估计值来更新...
时序差分学习(Temporal-Difference Learning)
热门推荐
Keep calm and carry on.
06-07 1万+
时序差分学习(Temporal-Difference Learning)结合了动态规划和蒙特卡洛方法，是强化学习的核心思想。 蒙特卡洛的方法是模拟（或者经历）一段序列，在序列结束后，根据序列上各个状态的价值，来估计状态价值。  时序差分学习是模拟（或者经历）一段序列，每行动一步（或者几步），根据新状态的价值，然后估计执行前的状态价值。  可以认为蒙特卡洛的方法是最大步数的时序差分学习。
[史]《全球通史》上册——摘记
feijj2002_的专栏
12-07 6531
 　　第一章　引言：世界史的性质全球各民族在各时代中相互影响，这种相互影响决定人类历史进程起重大作用。这种相互影响在1500年左右哥伦布和达·伽马进行海道探险之前，是时断时续，微不足道的。哥伦布、达·伽马及其后继者在短短几十年间使世界各地区开始直接交往，这种交往日益频繁，持续至今。1500年以前的各人类社会均处于不同程度的彼此隔离的状态之中。1500年以后，由于人类的通讯联系日渐加强、交通
强化学习（RLAI）读书笔记第十二章资格迹（Eligibility Traces）
无所知的博客
09-18 7277
资格迹是强化学习算法中的一个基本机制。比如很流行的其中的指的就是资格迹的使用。基本上所有的TD算法都能够和资格迹进行组合从而得到一个更通用的算法。资格迹把TD和MC方法统一了起来。当TD算法和资格迹进行组合使用时，得到了一组从一步TD延伸到MC算法的算法家族。一般中间部分的算法效果比两端的好。资格迹同样提供了一种在线continuing形式的问题上使用MC算法的实现方式。 之前第七章使用n步TD...
摘抄
u011013840的博客
11-22 469
项目构建 由于喵神的 Objc 网站是直接返回 html，所以想进行模拟网络请求返回数据，就只能自己搭建一个后台，写 api 返回数据了。 我利用 Express 把后台搭建在 8081 端口上，并写好路由，请求会转到 8080，开启服务器的时候也会自动开启后台。 #   install   dependencies   安装依赖 npm   install#   serve  
IEF评价matlab程序
最新发布
08-24
此外，还可以参考一些机器学习的经典书籍，如PRML、ESL、MLAPP、西瓜书、花书、RLAI和统计学习方法等，以获取更深入的评价和分析。<span class="em">1</span><span class="em">2</span><span class="em">3 #### 引用...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值