TD Learning

最新推荐文章于 2023-06-23 19:53:33 发布
最新推荐文章于 2023-06-23 19:53:33 发布
阅读量1.4k 收藏 2
点赞数 1
分类专栏： 生物信息学 文章标签： 动态规划 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Biopunk/article/details/47075573
版权

Temporal difference learning，暂时翻译成时间差学习，是一种基于动态规划(DP)和蒙特卡罗方法(Monte Carlo method)的强化学习方法。

一个简单的例子
决策过程从S点出发，有一定概率到达A1或者A2，再次决策后才能获得收益。所以对于第一步决策，我们认为获得收益与这一步决策之间还隔了1次决策，因此我们规定这次决策的折扣速率(λ)为1。

  1. 在时间差学习中，决策被分为多步决策，但是收益过程是一次性的，所以前几步的决策的收益是未知的
    因此需要发现状态转移方程以确定每一个状态的权值
  2. 比如说，根据样例模型，从S点开始决策，第一步可以转移到状态A1或者状态A2，但是此时收益是未知的，第二步可以从A1出发转移到B1或者B2，也可以从A2出发转移到B3或者B4
  3. B阶段的决策完成之后才能获得收益，但是在A阶段应该如何决策才能使得收益最优化呢？

运用动态规划的思想，根据后一步的收益来确定当前步的收益。将最终收益合理的分担给每一次决策。

  • 为了方便，我们假装是等概率状态转移p(B1) = p(B2) = p(B3) = p(B4) = 1/2

    1. B1和B2的收益是已知的，我们可以设它们分别为 dp(B1) 、dp(B2)，因此，我们可以得到A1的预期收益dp(A1) = dp(B1)*p(B1) + dp(B2)*p(B2)
    2. p(B1)是从A1出发进入B1的概率，p(B2)同理 同理可知，dp(A2)=dp(B3)*p(B3)+dp(B4)*p(B4)
    3. 可以得出dp(A1) = -1 * 0.5 + 1 * 0.5 = 0
      同理可得dp(A2) = -2 * 0.5 + 4 * 0.5 = 1

这样我们就从局部最优解向前推进得到了大一点的局部最优解，最终得到了全局最优解。当然这只是最简化的不带概率的模型，真实的强化学习是涉及到概率的。

但是，如何得到最初的dp(B1) 、dp(B2)、dp(B3)、dp(B4)呢？
就需要用到蒙特卡罗模拟了

background:很久以前，有一个赌场在蒙特卡罗，然后赌场有许许多多的老虎机，赌徒需要花费最小的money找到老虎机的赔率。如果是为了寻找赔率，最暴力的方式是每台老虎机投币1000枚以找到每台老虎机的赔率，但是这样做花费的代价太高了。蒙特卡罗方法基于试验次数越大频率就越接近概率的原理，先对每台机器试探少数几次找出赔率最大的，再次试探赔率最大的，如果当前机器赔率下降就继续试探赔率最大的
ex:有一个不规则的平面S，要求他的面积。构造一大堆小球，随机撞击S，保证小球不会重叠，最后小球的个数就是S的面积，这也是蒙特卡罗方法

因此，用最少的试探次数确定某一最终状态收益的方法就是蒙特卡罗方法

参考

http://www.cnblogs.com/jerrylead/archive/2011/05/13/2045309.html
多机器人系统强化学习研究综述 马磊，张文旭，戴朝华

biopunk
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
强化学习(四)：蒙特卡罗学习(MonteCarlo)与时序差分学习(TD learning)
01-20 3万+
上一节讲的是在已知模型的情况下，如何去解决一个马尔科夫决策过程(MDP)问题。方法就是通过动态规划来评估一个给定的策略，通过不断迭代最终得到最优价值函数。具体的做法有两个：一个是策略迭代，一个是值迭代。从这一节开始，我们将要进入模型未知的情况下，如何去解决一个MDP问题的方法。 从本讲开始会用两讲的时间讨论解决一个可以被认为是MDP、但却不掌握MDP具体细节的问题，也就是讲述如何直接从Agent
TD学习笔记
11-21 980
2014/11/20 学习1-1.Teradata与见习顾问简介.ppt，了解Teradata公司以及见习顾问培养；
强化学习：时序差分算法 TD-learning
qq_50086023的博客
06-23 1982
强化学习：时序差分算法 TD-learning
时间差分算法（TD Learning）（Sarsa、Q-Learning、Multi-Step TD Target）
qq_44755885的博客
03-22 2674
时间差分算法（TD Learning）学习笔记，包括三部分内容：Sarsa、Q-Learning、Multi-Step TD Target
Temporal-Difference （TD） Learning
人工智能
07-11 2072
【上一节蒙特卡洛方法（Monte Carlo Method）】 　　Temporal-difference (TD) learning可以说是增强学习的中心，它集成了蒙特卡洛思想和动态编程（dynamic programming, DP）思想，像蒙特卡洛方法一样，TD 方法不需要环境的动态模型，直接从经验经历中学习，像 DP 方法一样，TD 方法不需要等到最终的 outcome 才更新模型，
【强化学习】使用TDLearning来解决出租车问题
wongwongwong
01-31 718
问题描述： 为了演示这个问题，我们假设代理是出租车程序。有四个地点，代理必须在一个地点接一名乘客，然后把他们放在另一个地点。成功落车奖励+20分，每行驶一步要花费-1分。代理也可能因为，非法地点载客和下客，而失去10分奖励。代理的目标是，在短时间内，学会在正确地点上客和下客，而不添加非法乘客。 环境中的(R,G,Y,B)代表的是不同的上下车地点，小矩形代表的是出租车 解决思路： 1.无策略学习算法:Qlearing 2.策略学习算法:SAR...
TD learning,PER和Epsilon：深度学习对高等教育教学的启示.pdf
08-18
1. 时间差分学习（Temporal Difference Learning，简称TD Learning）：该算法结合了动态规划和蒙特卡罗模拟的优点。动态规划在面对复杂问题时计算量巨大，而蒙特卡罗模拟通过重复实验降低计算需求。TD Learning在此...
IE598NH-lecture-22-Analysis of TD Learning Algorithms.pdf
11-17
IE598NH-lecture-22-Analysis of TD Learning Algorithms.pdf探讨的是强化学习中的一个重要算法类别——时间差分（Temporal Difference, TD）学习。 时间差分学习是一种在线、模型-free的学习方法，它不依赖于完整...
Keras Reinforcement Learning Projects
10-22
You’ll also explore projects such as forecasting stock prices using Monte Carlo methods, delivering vehicle routing application using Temporal Distance (TD) learning algorithms, and balancing a ...
Learning-Python:学习Python的简单程序
03-29
学习Python 学习Python的简单程序 每个文件分为三部分： 程序编写说明（由““”包围） 代码 示例测试代码 尽管以下文件是Matt专门设计的，可以帮助我入门，但其余的是Leetcode的问题： signs.py ...
TDLearning-Matlab
03-20
目录 基本信息 一种针对时空差异（TDSA）学习方法（在本例中为SARSA），用于建模的半球形致动器。此外，还测试并比较了并行的Q学习方法。现在，我将动力学转换为3D版本，使用expsilon参数进行实验以进行更多探索，并尝试使用正面奖励而不是负面奖励。 资料来源 与奥格斯堡大学合作。良好的来源： ： 要求 八度1.0 技术领域 八度1.0 插图 资料来源：奥格斯堡Michael Olbrich大学 左：我们的TD代理跟随的窦道。中：收集的（负）奖励。右：探索参数epsilon。 项目状态 积极的
Python-TensorLy是一个用于tensor学习的快速简单的Python库
08-11
TensorLy是一个用于tensor学习的快速简单的Python库。它构建于NumPy、SciPy和MXNet之上，允许快速直接的tensor分解、tensor学习和tensor代数。
learning
03-18
在进阶阶段，会涉及表格（`<table>`，`<tr>`，`<td>`和`<th>`）、框架（`<frameset>`和`<frame>`）以及表单元素（`<form>`，`<input>`，`<button>`等）。 HTML5是HTML的最新版本，引入了许多新特性，比如音频和视频...
强化学习（RLAI）读书笔记第六章差分学习（TD-learning）
无所知的博客
09-04 5374
第六章：Temporal-Difference Learning TD-learning算法是强化学习中一个独具特色而又核心的想法，结合了蒙特卡洛算法和动态规划的想法。和MC一样不需要环境模型直接从sample里学习，也像DP一样使用bootstrap通过别的状态值的估计更新当前状态值。首先也关注的是给定策略进行prediction或者叫policy evaluation。对于control（找...
强化学习-An introduction之 时序差分（TD Learning） 个人笔记
MrTriste的博客
07-05 1191
Chapter 6 Temporal-Difference Learning MC方法是通过考虑采样轨迹，克服了模型未知给策略估计造成的困难，但是它需要在完成一个采样轨迹后再更新策略的值估计；而之前介绍的基于DP的策略迭代和值迭代算法在每执行一步策略后就进行值函数更新。相比而言，MC方法效率低得多。主要原因是MC方法没有利用学习任务的MDP结构。 TD Learning则结合了DP和MC的思想...
【Saras算法】TD Learning的一种
lt_BeiMo的博客
09-01 723
强化学习相关的Sarsa算法的介绍。此处笔记根据B站课程，王树森老师的强化学习记录而来。Sarsa算法是TD算法的一种,名字来源于 需要观测的五元组（s(t), a(t), r(t), s(t+1), a(t+1)）,即 State-Action-Reward-State-Action ,简称SARSA。...
《Reinforcement Learning》 读书笔记 6：时序差分学习（TD-Learning）
qjf42的专栏
04-29 9215
《Reinforcement Learning: An Introduction》 读书笔记 - 目录 先来看一个例子 每天上班的路程，都是可以看作是一系列子过程的组合，如：走路去地铁站=&gt;地铁1=&gt;地铁2=&gt;公交，总时长是这些子过程之和。每天我们依赖之前的经验，估计当天的时长，并更新我们的经验。 那么如何做出更好的估计呢？如何更快地积累有效的经验？ 尤其是在一个没有...
增强学习Reinforcement Learning经典算法梳理3：TD方法
热门推荐
Flood Sung的专栏
05-12 5万+
1 前言在上一篇blog中，我们分析了蒙特卡洛方法，这个方法的一个特点就是需要运行完整个episode从而获得准确的result。但是往往很多场景下要运行完整个episode是很费时间的，因此，能不能还是沿着bellman方程的路子，估计一下result呢？并且，注意这里，依然model free。那么什么方法可以做到呢？就是TD（temporal-difference时间差分）方法。有个名词注意一
6 Temporal-Difference （TD） Learning
coffee_cream的博客
04-16 1万+
Temporal-difference (TD) learning
reinforcement learning an introduction 答案
最新发布
07-04
### 回答1： 《强化学习导论》是由Richard S. Sutton和Andrew G. Barto合著的一本经典教材。该书详细介绍了强化学习的基本概念、算法和应用。 强化学习是一种机器学习方法，通过让智能体与环境进行交互学习来解决决策问题。与其他机器学习方法不同，强化学习强调在面对动态环境时基于反馈机制进行学习和优化。智能体通过与环境的交互，通过试错学习来获取最佳行为策略。 该书首先介绍了强化学习的基本概念，包括马尔可夫决策过程、值函数、策略和模型等。然后详细介绍了著名的强化学习算法，如蒙特卡洛方法、时序差分学习、动态规划等。这些算法通过不同的方式来优化智能体的策略或值函数，以实现最优决策。 此外，书中还对探索与利用、函数近似、策略梯度和深度强化学习等重要主题进行了深入讨论。这些主题对了解和解决实际应用中的强化学习问题非常重要。 《强化学习导论》还涵盖了一些实际应用，如机器学习、人工智能领域的自适应控制、机器人学、游戏和金融等。这些实际应用案例有助于读者将强化学习的概念和算法应用于实际问题，并了解其在不同领域的应用情况。 总的来说，《强化学习导论》是学习和了解强化学习领域必不可少的一本书。它详细介绍了强化学习的基本概念、算法和应用，并通过实际案例帮助读者更好地理解和应用强化学习。无论是对学术研究者还是工程师来说，这本书都是一份极具价值的参考资料。 ### 回答2： 《强化学习简介》是Richard S. Sutton和Andrew G. Barto编写的一本经典教材，旨在介绍强化学习的基本理论和方法。本书详细阐述了强化学习中的关键概念，包括马尔可夫决策过程（MDP），值函数、动作值函数和策略等。 在《强化学习简介》中，作者首先介绍了强化学习的背景和定义，并提出了马尔可夫决策过程作为强化学习问题建模的基础。马尔可夫决策过程包括状态、动作、奖励和转移概率这四个主要要素，通过定义系统状态空间、动作空间、奖励函数和状态转移概率函数，可以将强化学习问题转化为一个数学模型。 书中还介绍了强化学习的两种核心学习方法：值函数学习和策略搜索。值函数学习通过估计状态或状态-动作对的值函数，来指导智能体在不同状态下采取最优动作，并通过迭代更新值函数来提高策略的质量。策略搜索则是直接搜索和优化策略本身，通过改进策略来达到最优操作。 此外，本书还介绍了重要的强化学习算法，包括Temporal Difference Learning（TD-Learning）、Q-Learning和策略梯度方法等。这些算法通过巧妙地利用奖励信号和经验数据，来指导智能体学习最佳策略。 《强化学习简介》不仅深入浅出地介绍了强化学习的基本概念和方法，还提供了大量的实例和案例分析，帮助读者更好地理解和应用强化学习。无论是对强化学习感兴趣的研究人员、学生，还是从业者，这本书都是一本不可或缺的参考读物。 ### 回答3： 《强化学习导论》是一本介绍强化学习的重要著作。该书由Richard S. Sutton和Andrew G. Barto合著，共分为十章，全面介绍了强化学习的概念、方法和应用。 在书中，作者首先介绍了强化学习的基本概念，包括马尔科夫决策过程（MDP），状态、动作和奖励的定义以及强化学习中的基本问题，如策略选择和价值函数估计。 接下来，书中介绍了各种强化学习算法，包括值迭代、策略迭代和蒙特卡洛方法等。这些算法分别用于解决不同类型的强化学习问题，如预测、控制和学习价值函数。 此外，书中还介绍了基于模型的强化学习方法，如动态规划和强化学习中的基于模型的规划。这些方法利用对环境的模型进行规划，以改进策略和价值函数的学习效果。 在进一步讨论强化学习的高级主题时，作者介绍了函数逼近和深度强化学习。这些技术允许在复杂环境中处理高维状态和动作空间，并在估计价值函数和优化策略方面取得更好的性能。 最后，书中还包括了对强化学习的应用领域的概述，包括游戏、机器人和交通等。这些应用展示了强化学习在解决实际问题中的潜力和成功案例。 总的来说，《强化学习导论》全面而深入地介绍了强化学习的基本原理、算法和应用。它适合作为学习和研究强化学习的入门材料，并为读者提供了理解和掌握强化学习的基础。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值