强化学习-An introduction之 时序差分（TD Learning） 个人笔记

最新推荐文章于 2024-08-28 15:22:32 发布
最新推荐文章于 2024-08-28 15:22:32 发布
阅读量1.2k 收藏 2
点赞数
分类专栏： 强化学习 文章标签： 强化学习 时序差分 TD Learning Sarsa
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wjc1182511338/article/details/80932609
版权

Chapter 6 Temporal-Difference Learning

MC方法是通过考虑采样轨迹，克服了模型未知给策略估计造成的困难，但是它需要在完成一个采样轨迹后再更新策略的值估计；而之前介绍的基于DP的策略迭代和值迭代算法在每执行一步策略后就进行值函数更新。相比而言，MC方法效率低得多。主要原因是MC方法没有利用学习任务的MDP结构。

TD Learning则结合了DP和MC的思想，能做到更高效的免模型学习。

1 Policy Evaluation

c o n s t a n t − α constant-\alpha constant−α MC：（ G t G_t Gt​是t时刻到结束的累计奖励）

最低0.47元/天 解锁文章
MrTriste
关注
专栏目录
Reinforcement Learning强化学习系列之四：时序差分TD
luchi007的专栏
01-02 9227
引言 前面一篇讲的是蒙特卡洛的强化学习方法，蒙特卡罗强化学习算法通过考虑采样轨迹，克服了模型未知给策略估计造成的困难，不过蒙特卡罗方法有一个缺点，就是每次需要采样完一个轨迹之后才能更新策略。蒙特卡洛方法没有充分利用学习任务的MDP结构，而时序差分学习方法Temporal Difference（TD）就充分利用了MDP结构，效率比MC要高，这篇文章介绍一下TD算法 Sarsa算法 Sars...
强化学习 之 时序差分学习
Mrsgflmx的博客
10-08 191
（1）时序差分学习结合了动态规划与蒙特卡洛方法的思想 动态规划是这样迭代的，需要了解环境的dynamic才能求均值： 蒙特卡洛是这样增量式迭代的，只需要经验片段就可以： 而TD是这样迭代的： （2）TD算法的V(S)的具体估计方法 ： 直接用经验片段来估计。 最开始对每一个状态的价值V进行初始化(可以是随机初始化)。随后在环境中交互，每一次和环境交互得到的四元组 都可以用这个式子 来更新之前对当前状态的估计。 。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。。.
LLM —— 强化学习（RLHF-PPO和DPO）学习笔记
最新发布
STAR GAME
08-28 1374
LLM中强化学习 RLHF部分学习
《强化学习Sutton》读书笔记（五）——时序差分学习（Temporal-Difference Learning）
yucong96的博客
09-06 2167
此为《强化学习》第六章 Temporal-Difference Learning 。 时序差分学习 (Temporal-Difference Learning, TD) 是强化学习的核心。TD学习是蒙特卡洛MC法和动态规划DP法的综合，它可以像MC那样，不需要知道环境的全部信息，通过交互就能学习；同时，它也可以像DP那样，在（其他值函数）估计的基础上进行估计，从而不需要求解完整个事件(Episo...
强化学习 时序差分学习(Temporal-Difference Learning)
布谷AI的专栏
04-24 1311
时序差分学习是一种通过时序自举(bootstrap)的方式采样数据，通过最小化差分更新参数的一种model-free学习方法。根据Expected Return的不同近似方法，分为one-step、n-step、TD(λ)、蒙特卡洛方法等。
[强化学习] 时序差分学习
小太阳~
05-11 1571
写在前面 本文主要为学习sutton书中《时序差分学习》章节整理而来。 一、引言 1、蒙特卡洛方法回顾 （1）预测问题 蒙特卡洛的目标是根据策略π\piπ采样轨迹序列vπ(s)v_\pi(s)vπ​(s)：S1,A1,R2,...,Sk∼πS_1,A_1,R_2,...,S_k \sim \piS1​,A1​,R2​,...,Sk​∼π。 价值函数：vπ(s)=E(Gt∣St=s)v_\pi(s) = \mathcal{E}(G_t|S_t=s)vπ​(s)=E(Gt​∣St​=s) 累积奖励GtG_tGt
强化学习之时序差分学习
weixin_44548214的博客
03-28 802
Temporal-Difference Learning (TD) 时序差分学习 (单步、表格型、无模型) 1、为什么要用TD 回顾MC算法，它是逐幕采样然后对完整的回报求平均。这里存在一些问题：首先，MC算法比较适用于分幕式任务并且要求每一幕必须会终止，难以胜任连续型任务；其次，MC算法需要一直等到一幕结束了才能获得 GtG_tGt​ 。TD算法可以较好地解决这两个问题。 2、TD 预测 之前我...
强化学习：时序差分算法 TD-learning
qq_50086023的博客
06-23 2180
强化学习：时序差分算法 TD-learning
《Reinforcement Learning》 读书笔记 6：时序差分学习（TD-Learning）
qjf42的专栏
04-29 9255
《Reinforcement Learning: An Introduction》 读书笔记 - 目录 先来看一个例子 每天上班的路程，都是可以看作是一系列子过程的组合，如：走路去地铁站=>地铁1=>地铁2=>公交，总时长是这些子过程之和。每天我们依赖之前的经验，估计当天的时长，并更新我们的经验。 那么如何做出更好的估计呢？如何更快地积累有效的经验？ 尤其是在一个没有...
《强化学习》中的 时序差分学习 Temporal-Difference Learning （基于与动态规划 DP 、蒙特卡洛方法 MC 的对比）
记录学习痕迹的公众号：Piper蛋窝
01-19 1490
学习了 Sutton 的《强化学习（第二版）》中时序差分学习的“预测”部分内容。前两章中，书介绍了 动态规划 与 蒙特卡洛方法 ，我们从二者与 时序差分学习 的对比开始讲起。
【机器学习】Reinforcement Learning-强化学习学习笔记
长相忆兮长相忆的专栏
01-28 3819
强化学习（Reinforcement Learning, RL），又称增强学习，是机器学习的范式和方法论之一，用于描述和解决智能体（agent）在与环境的交互过程中通过学习策略以达成回报最大化或实现特定目标的问题。...
【机器学习】强化学习（四）-时序差分学习
cxyhjl的博客
01-19 1481
蒙特卡洛算法需要使用完整的片段进行计算，这在有些问题中是不现实的，尤其是对于没有终止状态的问题。时序差分算法对此进行了改进蒙特卡洛控制和时序差分学习有什么区别？四、时序差分算法（Temporal Difference Learning, TD 学习）4.1 时序差分（0）4.2 Sarsa算法4.3 Q学习（Q-learning）4.4 Sarsa和Q-learning有什么区别？4.5 示例代码...
《强化学习》第6章 时序差分学习
midnight_DJ的博客
12-30 1722
本章是《强化学习》第六章时序差分的内容。
强化学习-时序差分总结
2301_79012932的博客
03-30 116
TD Learning
扎锟
07-27 1515
Temporal difference learning，暂时翻译成时间差学习，是一种基于动态规划(DP)和蒙特卡罗方法(Monte Carlo method)的强化学习方法。
强化学习总结
smartcat2010的博客
03-18 1501
强化学习的目标：学习最优决策序列，使其得到最大化的长期累积奖励； 强化学习的数据，一部分是在真实环境中实践得到，一部分可从和虚拟环境的交互中模拟得到；从而丰富了训练数据； 环境模型：状态转移概率P(s[t+1] | s[t],a), 奖励函数R(s[t+1],a) 求解最优策略-->求解最优价值函数: 1.动态规划法（策略迭代，价值迭代，异步动态规划）；2.蒙特卡洛法；3.时间差分法(...
强化学习——策略优化（笔记）
LiuZ的博客
01-31 3471
本文将会讨论策略优化的数学基础，并且会附上简单的实践代码。三个要点 一个简单的等式，将策略梯度跟策略模型参数连接起来 一条规则，允许我们将无用的项从等式里去掉 另一条规则，允许我们在等式中添加有用的项 推导最简单的策略梯度 在这里，我们考虑随机参数化策略的情况πθ\pi _ {\theta}πθ​。我们的目标是使预期收益J(πθ)=Eτ∼πθ[R(τ)]J(\pi _ {\theta})= \...
强化学习的优化技巧与经验
AI天才研究院
12-31 1318
1.背景介绍 强化学习(Reinforcement Learning, RL)是一种人工智能(Artificial Intelligence, AI)技术，它通过在环境中进行交互来学习如何做出决策，以最大化累积奖励。强化学习的主要优势在于它能够处理动态环境和不确定性，并且可以在没有先前示例的情况下学习复杂的策略。然而，强化学习的挑战在于它的训练过程通常非常耗时和计算资源，这使得优化和提高性能变得...
强化学习优化：强化学习的优化技巧与实践
AI天才研究院
01-17 565
1.背景介绍 强化学习（Reinforcement Learning，RL）是一种人工智能技术，它通过与环境的互动学习，使智能体在不同状态下采取最佳行为。强化学习的目标是找到一种策略，使智能体在长期的行为中最大化累积收益。强化学习优化是指通过调整策略参数或者改变学习策略，使智能体在环境中的表现得更好。 在过去的几年里，强化学习技术取得了显
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值