强化学习（RLAI）读书笔记第六章差分学习（TD-learning）

最新推荐文章于 2023-06-23 19:53:33 发布
最新推荐文章于 2023-06-23 19:53:33 发布
阅读量5.3k 收藏 13
点赞数 1
分类专栏： 强化学习 文章标签： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_25037903/article/details/82385798
版权
第六章：Temporal-Difference LearningTD-learning算法是强化学习中一个独具特色而又核心的想法，结合了蒙特卡洛算法和动态规划的想法。和MC一样不需要环境模型直接从sample里学习，也像DP一样使用bootstrap通过别的状态值的估计更新当前状态值。首先也关注的是给定策略进行prediction或者叫policy evaluation。对于control（找...
摘要由CSDN通过智能技术生成

第六章：Temporal-Difference Learning

TD-learning算法是强化学习中一个独具特色而又核心的想法，结合了蒙特卡洛算法和动态规划的想法。和MC一样不需要环境模型直接从sample里学习，也像DP一样使用bootstrap通过别的状态值的估计更新当前状态值。首先也关注的是给定策略进行prediction或者叫policy evaluation。对于control（找到最优策略）的问题，DP，TD和MC都用的是GPI的框架，主要的区别在prediction的时候。

6.1 TD Prediction

TD和MC算法都使用经验来解决prediction的问题。给定一个策略\pi决策下的一些经验序列，两个方法都为出现在序列里的非中止状态更新值函数V。大致上说，MC方法需要等到一个状态后面所有的反馈都知道，把这个return作为值函数V的目标。简单的一个非稳态环境的every-visit方法的更新为V(S_{t}) \leftarrow V(S_{t})+\alpha\[G_{t}-V(S_{t})\]。这种方法叫做常数\alphaMC。MC需要等待一个序列到达重点才能更新V，而TD方法只需要等待下一步完成。最简单的TD方法更新为

V(S_{t}) \leftarrow V(S_{t})+\alpha\[R_{t+1}+\gamma V(S_{t+1})-V(S_{t})]

在MC方法中目标值是G_{t}而这里是R_{t+1}+\gamma V(S_{t+1})，这种方法叫做TD(0)，也叫一步TD法。

TD方法中的估计值在两个方面，一个是其是对期望值的一个采样，第二是它使用了当前的V值进行计算而不是v_{\pi}。所以TD结合了MC中的采样法和DP的boostrapping。表格型TD(0)算法的backup diagrams如右图。TD法和MC法被叫做sample updates是因为它们都往后进行了状态的采样，并且将后面状态的值函数和反馈用来更新当前值函数。sample updates和DP算法的期望更新不同，因为它基于对后面状态的单个采样而不是基于所有状态的分布。

最后要提到TD算法更新时括号里的部分可以被认为是一种用来评估当前状态值函数和更好的估计值

最低0.47元/天 解锁文章
无所知
关注
  • 1
    点赞
  • 踩
  • 13
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
《Reinforcement Learning》 读书笔记 6：时序差分学习（TD-Learning）
qjf42的专栏
04-29 9215
《Reinforcement Learning: An Introduction》 读书笔记 - 目录 先来看一个例子 每天上班的路程，都是可以看作是一系列子过程的组合，如：走路去地铁站=>地铁1=>地铁2=>公交，总时长是这些子过程之和。每天我们依赖之前的经验，估计当天的时长，并更新我们的经验。 那么如何做出更好的估计呢？如何更快地积累有效的经验？ 尤其是在一个没有...
TD Learning
扎锟
07-27 1495
Temporal difference learning，暂时翻译成时间差学习，是一种基于动态规划(DP)和蒙特卡罗方法(Monte Carlo method)的强化学习方法。
Temporal-Difference （TD） Learning
人工智能
07-11 2072
【上一节蒙特卡洛方法（Monte Carlo Method）】 　　Temporal-difference (TD) learning可以说是增强学习的中心，它集成了蒙特卡洛思想和动态编程（dynamic programming, DP）思想，像蒙特卡洛方法一样，TD 方法不需要环境的动态模型，直接从经验经历中学习，像 DP 方法一样，TD 方法不需要等到最终的 outcome 才更新模型，
强化学习：时序差分算法 TD-learning
qq_50086023的博客
06-23 1982
强化学习：时序差分算法 TD-learning
[RL]TD-learning
土豆大叔的博客
02-22 106
TD-learning一、导入库二、MDP三、Q-learning 一、导入库 from typing import Dict, List, Optional, Tuple import dataclasses import numpy as np 二、MDP @dataclasses.dataclass class Transition: state: Tuple[int, int] action: str next_state: Tuple[int, int] re
rlai-exercises:强化学习练习解决方案
05-28
《强化学习：入门》第二版练习题解决方案理查德·萨顿（Richard S. Sutton）和安德鲁·G·巴托（Andrew G. Barto）的书。 您可以在找到该书的在线版本。 我无法保证任何解决方案的正确性，因此，如果您发现任何错误...
论文研究 - 利培酮长效注射针插入深度对精神分裂症患者的影响：一项随机双盲研究
06-01
在某些情况下，如果插入深度比预期的浅，则肌肉注射（IM）利培酮长效注射剂（RLAI）可能无法穿透肌肉筋膜。 但是，如果针头插入的深度比预期的要深，则针头的穿透可能会损坏神经，动脉和静脉。 很少进行临床研究来...
HengshuaiYao.github.io:以事物的方式欢欣鼓舞。 老子
05-14
从2008年到2014年，我在RLAI实验室的同一系攻读博士学位，学习了强化学习。 我从事基于离线模型的近似策略迭代（与Csaba Szepesvari一起），多步线性Dyna风格的规划（与Rich Sutton一起），PageRank的新颖强化学习...
差分模型学习
weixin_51015047的博客
03-26 1143
前言 差分的目的主要是消除一些波动 使数据趋于平稳 数据 原始数据表示 画出一阶差分与二阶差分的图 参考 import pandas as pd import numpy as np # Display and Plotting import matplotlib.pylab as plt import seaborn as sns from matplotlib import pyplot #Read the data Sentiment = 'train.csv' Sentiment = pd.
差分 学习笔记
Gettler的博客
05-07 125
差分 将序列中[ l , r ] 之间的每个数加上 c void insert(int l, int r, int c) { b[l] += c; b[r + 1] -= c; } 将( x1 , y1 ) , ( x2 , y2 )矩阵中的每个元素的值加上 c void insert(int x1, int y1, int x2, int y2, int c) { b[x1][y1] += c; b[x2 + 1][y1] -= c; b[x1][y2 + 1]
差分学习笔记
不知所云的博客
10-31 585
一维差分 差分其实就是前缀和的逆运算； 给你一个数组a[5]={1，2，3， 4，5}；差分数组b[5]={1，1，1，1，1}；显然差分数组b[i]=a[i]-a[i-1]; 那么我们可以推出，a[1]=b[1],a[2]=b[1]+b[2],…;b[i]的前缀和等于a[i],这也是为什么说差分就是前缀和的逆运算； 知道了这个，差分还有个运用；就是在区间[l,r]进行加数操作，然后问你某个位置在...
时间差分算法（TD Learning）（Sarsa、Q-Learning、Multi-Step TD Target）
qq_44755885的博客
03-22 2674
时间差分算法（TD Learning）学习笔记，包括三部分内容：Sarsa、Q-Learning、Multi-Step TD Target
强化学习（第二版）笔记——第六章 时序差分学习
weixin_38886470的博客
12-02 733
参考 周博磊老师课程 Richard S.Sutton 《Reinforcement Learning》第六章 时序差分学习 Temporal-Difference Learning TD1. 时序差分学习在强化学习中的应用2 时序差分预测 1. 时序差分学习在强化学习中的应用 在强化学习所有的思想中，时序差分(TD)学习无疑是最核心、最新颖的思想。时序差分学习结合了蒙特卡洛方法和动态规划方法的思想。与蒙特卡洛方法一致，时序差分方法也可以直接从与环境互动的经验中学习策略，而不需要构建关于环境动态特性的
TD Temporal-Difference Learning 时序差分法（差分学习）
weixin_41913844的博客
11-09 480
temporary 英 ['temp(ə)rərɪ]美 [ˈtempəreri] adj. 临时的，暂时的;短暂的 n. 临时工，临时雇 TD算法是RL的核心算法。TD是DP和MC算法的结合。Like DP, TD methods without waiting for a final outcome (they bootstrap)。 TD(0), or one-step TD Advan...
时序差分学习(Temporal-Difference Learning)
Keep calm and carry on.
06-07 1万+
时序差分学习(Temporal-Difference Learning)结合了动态规划和蒙特卡洛方法，是强化学习的核心思想。 蒙特卡洛的方法是模拟（或者经历）一段序列，在序列结束后，根据序列上各个状态的价值，来估计状态价值。  时序差分学习是模拟（或者经历）一段序列，每行动一步（或者几步），根据新状态的价值，然后估计执行前的状态价值。  可以认为蒙特卡洛的方法是最大步数的时序差分学习。
Q-learning时序差分强化学习算法
weixin_45885232的博客
04-12 1022
Q-learning是基于价值迭代的强化学习算法。 在Q-learning中要定义策略的动作价值函数QQQ,以表示不同状态下不同动作的价值。记策略π\piπ的动作价值函数为Qπ(st,at)Q^{\pi}(s_t,a_t)Qπ(st​,at​)，表示在状态sts_tst​下，执行动作ata_tat​带来的累积奖励GtG_tGt​的期望值。计算流程如下： Qπ(st,at)Q^{\pi}(s_t,a_t)Qπ(st​,at​) = E[GT∣st,at]E[G_T|s_t,a_t]E[GT​∣st​,at​]
强化学习(四)：蒙特卡罗学习(MonteCarlo)与时序差分学习(TD learning)
热门推荐
01-20 3万+
上一节讲的是在已知模型的情况下，如何去解决一个马尔科夫决策过程(MDP)问题。方法就是通过动态规划来评估一个给定的策略，通过不断迭代最终得到最优价值函数。具体的做法有两个：一个是策略迭代，一个是值迭代。从这一节开始，我们将要进入模型未知的情况下，如何去解决一个MDP问题的方法。 从本讲开始会用两讲的时间讨论解决一个可以被认为是MDP、但却不掌握MDP具体细节的问题，也就是讲述如何直接从Agent
【Saras算法】TD Learning的一种
lt_BeiMo的博客
09-01 723
强化学习相关的Sarsa算法的介绍。此处笔记根据B站课程，王树森老师的强化学习记录而来。Sarsa算法是TD算法的一种,名字来源于 需要观测的五元组（s(t), a(t), r(t), s(t+1), a(t+1)）,即 State-Action-Reward-State-Action ,简称SARSA。...
IEF评价matlab程序
最新发布
08-24
IEF （Image Edge Features）是一种用于评价边缘检测算法的指标。在MATLAB中，常用的边缘检测算子包括 Roberts、Prewitt、Sobel、Laplacian、LoG 和 Canny 算子。这些算子可以在MATLAB中通过自写函数实现。 在评价MATLAB程序的边缘检测效果时，可以使用IEF来进行评价。IEF是通过计算边缘检测结果与真实边缘之间的相似度来评价算法的准确性和鲁棒性。具体来说，IEF利用了边缘的特征信息，包括边缘的位置和强度，并将其与真实边缘进行比较。边缘检测算法的IEF值越高，表示其边缘检测效果越好。 在评价MATLAB程序时，可以使用一些常见的机器学习的数学基础，比如Pytorch、Python、信号与系统、OpenCV、C和度量等。此外，还可以参考一些机器学习的经典书籍，如PRML、ESL、MLAPP、西瓜书、花书、RLAI和统计学习方法等，以获取更深入的评价和分析。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* *3* [二进制人工智能 博客精选](https://blog.csdn.net/weixin_44378835/article/details/125039907)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 100%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值