时序差分学习

最新推荐文章于 2025-02-10 18:51:29 发布
最新推荐文章于 2025-02-10 18:51:29 发布
阅读量1.7k 收藏 5
点赞数
分类专栏： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34719975/article/details/81736743
版权
时序差分学习（TD）是强化学习中关键的方法，融合了蒙特卡洛方法和动态规划的特点。TD方法能从经验中直接学习，无需环境模型，且能以自举方式更新估计值。本文深入讲解了TD预测，包括TD（0）的最优性，Sarsa和Q-learning等在线、离策略TD控制方法，强调了它们在解决强化学习问题中的应用和优势。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

第六章 时序差分学习

如果非要说一个强化学习中最核心并且新奇的方法，那么时序差分学习毫无疑问就是那种方法。TD方法是蒙特卡洛方法和动态规划思想的结合。所以TD方法有两个特点：一是可以直接从经验中学习，不需要环境模型；二是TD方法根据其他的估计来更新估计，也就是自举。时序差分学习，蒙特卡洛方法和动态规划三者之间关系的比较是强化学习中贯穿始终的主题。

6.1 TD预测

（1）Constant-α MC方法：

特点：1·常量α适合动态性问题 2，必须等到这一幕执行完成(得到Gt)才能进行估计。

（2）最简单的TD方法：

特点：只需要等一步，需要Rt+1 和V（St+1）的数值，Rt+1+rV(St+1)作为target对原有值函数进行更新。

下面是TD（0）程序框架：

从已学知识我们知道：

蒙特卡洛方法之所以是估计值是因为它利用采样的返回作为真实期望返回值。动态规划之所以说是自举方法是因为它利用V（St+1）的现有估计值，而不是真正的V（St+1）。而时序差分方法既有DP方法中的自举，又有蒙特卡洛方法中的采样。

TD error：

TD error 是指估计值和现有值之间的偏差。如果在一个片段中，值函数始终没有发生变化，那么蒙特卡洛误差可以用TD error来表示：

6.2 TD预测方法的优点

相对于DP方法来说，TD方法的优点是它不需要环境模型，不需要回报和下一个状态的可能性分配。

相对于蒙特卡罗方法，TD方法的优点是它能在线，以增量的方式学习。而蒙特卡洛方法只能

最低0.47元/天 解锁文章
机器学习之时序差分学习(Temporal Different Learning)
JustinMars的博客
04-18 650
时序差分学习（Temporal Difference Learning）是一种强化学习算法，常用于解决序列决策问题。它结合了动态规划和蒙特卡洛方法的优点，在未来奖励和当前估计之间进行自举式更新。该算法的核心思想是通过不断地估计状态值或动作值的更新来学习。具体来说，它通过比较当前状态的估计值和下一个状态（或下一步动作）的估计值加上未来奖励的总和，来调整当前状态的估计值。
6. 时序差分学习
weixin_40614311的博客
01-27 593
时序差分 （TD）学习是强化学习的最核心和新颖的思想。 TD学习是蒙特卡洛思想和动态规划（DP）思想的结合。
时序差分学习(Temporal-Difference Learning)
热门推荐
Keep calm and carry on.
06-07 1万+
时序差分学习(Temporal-Difference Learning)结合了动态规划和蒙特卡洛方法，是强化学习的核心思想。 蒙特卡洛的方法是模拟（或者经历）一段序列，在序列结束后，根据序列上各个状态的价值，来估计状态价值。  时序差分学习是模拟（或者经历）一段序列，每行动一步（或者几步），根据新状态的价值，然后估计执行前的状态价值。  可以认为蒙特卡洛的方法是最大步数的时序差分学习。
SARSA时序差分学习方法
weixin_34107955的博客
02-27 187
什么是SARSA SARSA算法的全称是State Action Reward State Action，属于时序差分学习算法的一种，其综合了动态规划算法和蒙特卡洛算法，比仅仅使用蒙特卡洛方法速度要快很多。当时序差分学习算法每次更新的动作数为最大步数时，就等价于蒙特卡洛方法。 值函数更新公式的引入：多次试验的平均 SARSA的核心思想在于增量计算。在蒙特卡洛算法中，我们需要对函数进行有效的估计，假...
强化学习数学基础(七)——时序差分
ArtoriaLili的博客
02-10 889
时间差分算法,TD 算法是一种结合了动态规划（DP）和蒙特卡罗（MC）方法思想的强化学习算法，它能够在不需要完整环境模型的情况下，通过与环境的交互学习得到最优策略，用于估计值函数等强化学习中的关键量.
【机器学习】强化学习（四）-时序差分学习
cxyhjl的博客
01-19 1725
蒙特卡洛算法需要使用完整的片段进行计算，这在有些问题中是不现实的，尤其是对于没有终止状态的问题。时序差分算法对此进行了改进蒙特卡洛控制和时序差分学习有什么区别？四、时序差分算法（Temporal Difference Learning, TD 学习）4.1 时序差分（0）4.2 Sarsa算法4.3 Q学习（Q-learning）4.4 Sarsa和Q-learning有什么区别？4.5 示例代码...
Temporal Difference - 时序差分学习
Steve Wang's blog
10-16 927
这篇博客是前面一篇博客Model-Free Policy Evaluation 无模型策略评估的一个小节，因为TD本身也是一种无模型策略评估方法。原博文有对无模型策略评估方法的详细概述。 Temporal Difference(TD) 时序差分 “if one had to identify one idea as central and novel to reinforcement lea...
Temporal-Difference Learning 时序差分学习
04-03
Temporal-difference (TD) learning可以说是增强学习的中心，它集成了蒙特卡洛思想和动态编程（dynamic programming, DP）思想，像蒙特卡洛方法一样，TD 方法不需要环境的动态模型，直接从经验经历中学习。
（5-1）时序差分学习和SARSA算法：时序差分预测
码农三叔
02-15 1226
时序差分学习（Temporal Difference Learning）和SARSA算法都是强化学习领域中的重要概念和算法，用于训练智能体（Agent）在环境中学习并优化其行为。其中时序差分学习是一种通用的强化学习方法，而SARSA是一种特定的算法，它基于时序差分学习来学习策略并优化动作选择。这两个概念都在强化学习领域中起着重要作用，用于训练智能体以在环境中执行任务和决策。在本章的内容中，将详细讲解时序差分学习和SARSA算法的知识，为读者步入后面知识的学习打下基础。
（5-3）时序差分学习和SARSA算法：Q-learning的时序差分更新
码农三叔
02-16 1368
Q-learning是一种强化学习算法，它使用时序差分更新来估计状态-动作值函数（Q函数）。Q-learning通过不断地应用这个更新规则，从经验中学习出一个最优的状态-动作值函数Q，以便智能体可以根据Q值来选择最佳动作，以最大化累积奖励。这是一种基于值的强化学习方法，常用于解决各种强化学习问题。
时序差分学习（TD）
u011895157的博客
03-14 573
时序差分学习 -
强化学习（三）：时序差分学习（Temporal-Difference Learning, TD）
Starry__的博客
02-01 2862
目录1. TD预测1.1. TD(0)算法三级目录 1. TD预测 TD是另一种对最优策略的学习方法，本节讲述TD预测，即使用TD求解策略π\piπ的值函数vπ(s)v_{\pi}(s)vπ​(s)。 TD预测被称为 DP 和 MC 的结合体，DP是 期望更新+自举，MC是 采样更新 + 样本估计。而TD则是采样更新 + 自举，即值函数V(St)V(S_t)V(St​)更新基于采样得到的V(St+i)V(S_{t+i})V(St+i​)的结果。 如果i=1i=1i=1，就为TD(0)单步TD算法，否则就为多
强化学习的数学原理学习笔记 - 时序差分学习（Temporal Difference）
Green Lv的博客
01-07 4405
强化学习的数学原理学习笔记：时序差分学习（Temporal Difference，TD），包括对基础TD、Sarsa和Q-learning等算法的介绍。
强化学习（第二版）笔记——第六章 时序差分学习
weixin_38886470的博客
12-02 1106
参考 周博磊老师课程 Richard S.Sutton 《Reinforcement Learning》第六章 时序差分学习 Temporal-Difference Learning TD1. 时序差分学习在强化学习中的应用2 时序差分预测 1. 时序差分学习在强化学习中的应用 在强化学习所有的思想中，时序差分(TD)学习无疑是最核心、最新颖的思想。时序差分学习结合了蒙特卡洛方法和动态规划方法的思想。与蒙特卡洛方法一致，时序差分方法也可以直接从与环境互动的经验中学习策略，而不需要构建关于环境动态特性的
《Reinforcement Learning》 读书笔记 6：时序差分学习（TD-Learning）
qjf42的专栏
04-29 9303
《Reinforcement Learning: An Introduction》 读书笔记 - 目录 先来看一个例子 每天上班的路程，都是可以看作是一系列子过程的组合，如：走路去地铁站=>地铁1=>地铁2=>公交，总时长是这些子过程之和。每天我们依赖之前的经验，估计当天的时长，并更新我们的经验。 那么如何做出更好的估计呢？如何更快地积累有效的经验？ 尤其是在一个没有...
强化学习之时序差分学习
weixin_44548214的博客
03-28 862
Temporal-Difference Learning (TD) 时序差分学习 (单步、表格型、无模型) 1、为什么要用TD 回顾MC算法，它是逐幕采样然后对完整的回报求平均。这里存在一些问题：首先，MC算法比较适用于分幕式任务并且要求每一幕必须会终止，难以胜任连续型任务；其次，MC算法需要一直等到一幕结束了才能获得 GtG_tGt​ 。TD算法可以较好地解决这两个问题。 2、TD 预测 之前我...
6.时序差分学习Temporal-Difference Learning--阅读笔记【Reinforcement Learning An Introduction 2nd】
木易进
08-23 622
文章目录时序差分学习Temporal-Difference Learning前言TD预测/评估TD预测方法的优势TD(0)的最优性Sarsa:在线策略TD控制Q-learning:off-policy TD控制期望sara算法最大化偏差Maximization Bias 和 Double LearningGame、afterstate和其他特例总结 时序差分学习Temporal-Difference Learning 内容简要梳理: 本章主要讲解了又一种RL方法，基于时序差分学习的方法，依照GPI模式，首
时序差分学习pytorch
最新发布
02-18
### 使用 PyTorch 实现时序差分学习 为了实现时序差分(TD)学习，特别是TD(0)，可以构建一个简单的环境模拟器以及智能体来执行动作并接收奖励。下面展示了一个简化版的实现过程，在此过程中，智能体会在一个一维环境中移动，并尝试找到最优策略。 #### 定义环境类 首先创建一个表示简单迷宫的一维环境： ```python import torch import random class SimpleMazeEnv: def __init__(self, size=5, goal_position=None): self.size = size if not goal_position or goal_position >= size: self.goal_position = size - 1 else: self.goal_position = goal_position self.agent_position = 0 def reset(self): """重置环境""" self.agent_position = 0 return self.agent_position def step(self, action): """ 执行一步行动. 参数: action (int): 动作索引（0 表示左移；1 表示右移） 返回: tuple: 下一个状态的位置编号、即时奖励和是否结束标志位 """ done = False reward = -1 # 默认每步都有负回报鼓励快速达到终点 if action == 0 and self.agent_position > 0: self.agent_position -= 1 elif action == 1 and self.agent_position < self.size - 1: self.agent_position += 1 if self.agent_position == self.goal_position: done = True reward = 10 # 到达目标位置给予正向激励 return self.agent_position, reward, done ``` #### 创建智能体类 接着定义智能体，该智能体能够存储其价值函数并通过TD(0)方法对其进行更新: ```python class TDAgent: def __init__(self, env_size, alpha=0.1, gamma=0.9): self.value_function = {state: 0 for state in range(env_size)} self.alpha = alpha # 学习率 self.gamma = gamma # 折扣因子 def update_value(self, current_state, next_state, reward): td_target = reward + self.gamma * self.value_function[next_state] td_error = td_target - self.value_function[current_state] self.value_function[current_state] += self.alpha * td_error ``` #### 训练循环 最后编写一段脚本来运行上述组件，让智能体在这个小型迷宫里进行多次试验直到学会最佳路径[^4]: ```python def train_td_agent(num_episodes=500): env = SimpleMazeEnv() agent = TDAgent(env.size) for episode in range(num_episodes): state = env.reset() while True: action = random.choice([0, 1]) # 随机选择动作 next_state, reward, done = env.step(action) agent.update_value(state, next_state, reward) if done: break state = next_state train_td_agent() print(agent.value_function) ``` 这段代码展示了如何使用Python与PyTorch库之外的基础工具完成一次基础的时间差异学习实验。虽然这里并没有直接涉及神经网络的应用，但是这种方法同样适用于更复杂的场景中，比如当状态空间变得非常大以至于无法显式枚举所有可能的状态时，则可以通过引入深度Q网络(DQN)或其他形式的功能逼近技术来进行改进[^3].
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值