强化学习第七章：时序差分方法

最新推荐文章于 2024-07-25 18:25:30 发布
最新推荐文章于 2024-07-25 18:25:30 发布
阅读量563 收藏 28
点赞数 17
分类专栏： 强化学习 文章标签： 机器学习 算法 数学建模
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42828479/article/details/140077970
版权

强化学习第七章：时序差分方法

什么是时序差分方法(Temporal Difference Learning, TDL)

三种方法的比较

  • 值迭代和策略迭代算法
    可以 边交互边学习 ，学习速度快，但是 需要环境模型 。
  • 蒙特卡洛方法
    从 经验 （交互结果）中采样学习，学习速度慢（需等Episode完成）， 不需要环境模型 。
  • 时序差分方法
    不需要 环境模型，能 边交互边学习。MakaBaka想了想RM算法的迭代求解过程，点点了点头。

时序差分方法

  • 时序差分方法的思想
    基于 已得到 的 其他状态 的估计值来 更新当前状态 的价值函数，对于单步TD来说，在采样的时候，用相邻下一时刻状态估计值更新当前的价值函数，两者的时刻差为1，所以被称为时序差分方法。
  • 时序差分方法的分类
    时序差分方法是一大类强化学习方法，最经典的是用于 估计状态价值 的方法，除此以外还有 估计状态动作价值 的方法及其变种等方法。

从RM算法到时序差分方法

原始的RM算法

考虑求解单个未知分布随机变量期望的问题
在这里插入图片描述
原始问题转化为求根问题
在这里插入图片描述
找到RM算法的迭代方向，以随机变量的采样为基础
在这里插入图片描述
最后得到上述求根问题的迭代求解式：
在这里插入图片描述

更加复杂的RM算法

从求解单个未知分布随机变量期望的问题变成了多个，但不改变RM框架
在这里插入图片描述
还是将原始问题转化为求根问题，并找到其迭代方向
在这里插入图片描述
得到迭代式
在这里插入图片描述

TD算法的形式

需要由给定策略形成的经验
在这里插入图片描述
单步TD求解状态价值的具体形式如下：
在这里插入图片描述
vt(st)： t时刻访问到的状态 的 状态价值 在 t时刻 的 估计
vt(st+1)： t+1时刻访问到的状态 的 状态价值 在 t时刻 的 估计
at(st)： t时刻访问到的状态 的 折扣因子 在 t时刻 的 值

  • TD Target和TD Error
    在这里插入图片描述

TD算法的理解

对于访问到状态来说，真实的状态价值是vπ(st)，回顾状态价值的贝尔曼方程
在这里插入图片描述
其中Gt+1即为下一个状态的 状态价值的期望 ，那么可以改写为：
在这里插入图片描述
这个公式能朝着TD Target前进吗，也就说 vt+1(st) 会比 vt(st) 更接近与t时刻的目标值吗？
等式两边同时减去一个TD Target
在这里插入图片描述
其中
在这里插入图片描述
所以
在这里插入图片描述
要从经验中改进当前访问到的状态的状态价值的估计，本来 没有环境模型 ，我是不知道st+1和rt+1的，但是我现在知道了， 利用 这个 信息 来 改进 ，如何改进，迭代朝着访问到的状态的真实状态价值前进，每次迭代都会访问到一个状态，同时 只改进它自己 ，没访问到的不变。随着迭代不断利用经验，所有的状态价值的近似都会 朝着真实状态价值收敛 。

  • TD算法的数学本质
    上面的手写公式中改写了贝尔曼公式，实际上改写之后的为贝尔曼期望公式
    在这里插入图片描述
    G是折扣奖励，那主观也很好理解，下一个状态的 状态价值的期望
    在这里插入图片描述
    最终，TD算法是要在没有环境模型的情况下求解贝尔曼期望公式
    在这里插入图片描述

TD算法和RM算法的联系

TD算法是求解贝尔曼期望公式的一个RM算法。
求解给定策略下贝尔曼期望公式转换为RM算法框架中的求根问题
在这里插入图片描述
在这里插入图片描述
根据采样找到RM算法的迭代方向
在这里插入图片描述
得到迭代式
在这里插入图片描述
再回顾TD算法的最终形式
在这里插入图片描述
如果要将贝尔曼期望公式的RM算法迭代式改为TD算法中的形式，需要变更两个小点：
奖励和状态的采样直接换为时间序列上的样本，再这个时间序列上， 更新访问到状态 的状态价值。
直接将状态价值的估计值替换为真实状态价值，虽然 现在不是准确 的，但随着 经验 的不断 利用 ，会越来越 准确 。
这样修改之后的RM算法迭代式，也就是TD算法的最终形式能收敛吗，能
在这里插入图片描述
值得注意的点就是实际中，不会将学习率at趋向于0，只是设置到一个很小的数，让经验持续有效。

TDL和MCL

两者都是无模型的。
在这里插入图片描述
在这里插入图片描述
总结
MC：离线，非自举无偏估计，高方差低偏差
TD：在线，自举有偏估计，低方差高偏差，除了MC适用的场景意外，还能用于实时更新，无终止任务的场景

从估计状态价值到估计动作价值的TD算法Sarsa

采样的变化，需要增加两个时刻的动作，这个序列也是名字的由来state-action-reward-state-action
在这里插入图片描述
迭代式的变化，状态价值变为了状态动作价值
在这里插入图片描述
数学本质的变化，贝尔曼期望公式的状态动作价值形式
在这里插入图片描述
伪代码
在这里插入图片描述

Sarsa改进，TD Target中的状态动作价值的估计变为状态动作价值的期望

在这里插入图片描述
TD Target变了，减少了随机数，减小了自举偏差。
在这里插入图片描述
数学本质的变化
在这里插入图片描述
增加了动作作为条件限制，结果由状态价值变为状态动作价值。也是贝尔曼期望公式的状态动作价值的另一种形式。

Sarsa改进，中庸之道：TD思想和MC思想的结合 n-Step Sarsa

在这里插入图片描述
在这里插入图片描述
该说的都说的很清楚，和之间truncated policy iteration的一样的思想，即非offline，又非online。

Sarsa改进，从估计状态动作价值到选择最优状态动作价值Q-Learning

在这里插入图片描述
TD Target的变化，直接从状态动作价值变成了最优状态动作价值
在这里插入图片描述
数学本质的变化，很容易想到是贝尔曼最优期望公式的状态动作价值形式
在这里插入图片描述

  • 插播一条概念，同策略On-Policy和异策略Off-Policy
    在这里插入图片描述
    这两个策略是同一个，就是同策略，反之为异策略。
    异策略相较于同策略的优势
    在这里插入图片描述
    如何判断算法是同策略还是异策略，通过判断数学本质的目标（Target Policy）和需要的东西（Behavior Policy）是否相同来判断。
    在这里插入图片描述
    将已学的算法分类
    在这里插入图片描述
    策略π收集数据 --> Sarsa进行PE --> PI过程改进π --> 改进后的π再收集数据
    同一个π
    在这里插入图片描述
    策略π收集数据 --> MC进行PE --> PI过程改进π --> 改进后的π再收集数据
    同一个π
    在这里插入图片描述
    策略πa收集数据 --> MC进行PE --> PI过程改进πb --> 改进后的πa再收集数据
    两个π
    在这里插入图片描述
    这里除了TD Target和Sarsa不一样，其他一样。
    在这里插入图片描述
    这里除了TD Target和Sarsa不一样，更新的时候也只更新了πT，而πb没更新，直接是Greedy策略。

几种算法的形式对比

在这里插入图片描述
都能统一成TD的形式。
在这里插入图片描述
都是求解贝尔曼公式或者贝尔曼最优公式的随机逼近算法（stochastic approximation algorithms，SAA）。

参考资料

【强化学习的数学原理】课程：从零开始到透彻理解（完结）

UVCuttt
关注
  • 17
    点赞
  • 踩
  • 28
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
强化学习（五）基于时序差分法 TD 的求解
Linshaodan520的博客
04-24 1074
介绍了如何用时序差分法求解最优价值函数，并举例演示了时序差分在线控制算法SARSA的计算过程
强化学习（五）用时序差分法（TD）求解
01-06
作者：刘建平  编辑：田 旭  前 言 在强化学习（四）用蒙特卡罗法（MC）求解中，我们讲...时序差分这一篇对应Sutton书的第六章部分和UCL强化学习课程的第四讲部分，第五讲部分。 章节目录 时序差分TD简介 时序
强化学习：时序差分法【Temporal Difference Methods】
v20000727的博客
05-06 1019
本节介绍强化学习中经典的时序差分方法（Temporal Difference Methods，TD）。与蒙特卡洛(MC)学习类似，TD学习也是`Model-free`的，但由于其**增量形式**在效率上相较于MC方法具有一定的优势。
【强化学习的数学原理】第七课：时序差分方法
qq_44044341的博客
10-28 149
文章目录【例子】✨例子1：✨例子2：✨例子3：【state value的TD算法】✨TD learning 与 MC learning 比较：【action value的TD算法（Sarsa）】✨Sarsa 伪代码：【action value的TD算法（Expected Sarsa）】✨与Sarsa比较：【action value的TD算法（n-step Sarsa）】【optimal action value的TD算法（Q-learning）】✨on-policy learning &&
动手学强化学习（四）：时序差分算法 （Temporal Difference）
与君共勉，一起学习
05-06 5896
强化学习基础篇（四）：时序差分算法 （Temporal Difference）1. 简介2. 时序差分方法3. Sarsa 算法4. 多步 Sarsa 算法5. Q-learning 算法在线策略算法与离线策略算法6. 总结 文章转于 伯禹学习平台-动手学强化学习 （强推） 与君共勉，一起学习。 1. 简介   动态规划算法要求马尔可夫决策过程是已知的，即要求与智能体交互的环境是完全已知的（例如迷宫或者给定规则的网格世界）。在此条件下，智能体其实并不需要和环境真正交互来采样数据，直接用动态规划算法就可以解
Temporal-Difference Learning 时序差分学习
04-03
Temporal-difference (TD) learning可以说是增强学习的中心，它集成了蒙特卡洛思想和动态编程（dynamic programming, DP）思想，像蒙特卡洛方法一样，TD 方法不需要环境的动态模型，直接从经验经历中学习。
快速学习时序图：时序图简介、画法及实例
02-24
时序图（SequenceDiagram），亦称为序列图、循序图或顺序图，是一种UML交互图。它通过描述对象之间发送消息的时间顺序显示多个对象之间的动态协作。时序图是一个二维图，横轴表示对象，纵轴表示时间，消息在各对象...
强化学习读书笔记sutton第七章
07-13
在 Sutton 的第七章中，我们将探讨 N 步自举法、N 步时序差分预测、N 步 Sarsa 法、N 步离轨策略学习和 N 步树回溯算法等强化学习方法。 1. N 步自举法 N 步自举法是一种强化学习方法，旨在将 n 个连续时间步骤中...
卷积神经网络
最新发布
m0_53881899的博客
07-25 436
卷积神经网络
人工智能与机器学习原理精解【7】
“数学如同音乐或诗一样显然地确实具有美学价值。” —— 雅可比
07-25 590
数学优化（Mathematical Optimization），也称为最优化问题，是一个广泛应用的数学领域，旨在解决在一定约束条件下寻找目标函数的最优值（最大值或最小值）的问题。数学优化问题的定义为：给定一个目标函数（也称为代价函数）fA→R，寻找一个变量（也称为参数）x∗∈D，使得对于所有D中的x，都有fx∗≤fx（最小化问题）或fx∗≥fx（最大化问题）。其中，D是变量x的约束集，也称为可行域；D中的变量被称为可行解。
机器学习任务中怎么选择模型？
weixin_39915444的博客
07-25 218
选择适合的机器学习模型是一个复杂且关键的过程，需要考虑以下几个方面：以下是选择模型的一般步骤：明确任务类型：探索数据：模型选择：模型评估：模型解释：
机器学习驱动的智能化电池管理技术与应用
YHJX57的博客
07-25 749
3.3 两种电池电(化学)-热耦合模型的区别及应用场景。(1) 基于融合模型和融合算法的SOC估计方法。5.2.3 典型工况电池空冷模型构建及仿真演示。5.3.2 锂离子电池-冷却液流动耦合模型构建。5.3.3 典型工况电池液冷模型构建及仿真演示。3.2 电池集总参数模型及其与电池热模型耦合。5.2.2 锂离子电池-空气流动耦合模型构建。实例讲解-基于模型误差谱的SOH估计方法。基于转移注意力机制的电池剩余寿命预测方法。2.2 COMSOL中电池P2D模型构建。3.1 P2D电化学模型与电池热模型耦合。
人工智能与机器学习原理精解【8】
“数学如同音乐或诗一样显然地确实具有美学价值。” —— 雅可比
07-25 559
函数系是指由一组函数构成的集合，这些函数之间可能具有某种特定的关系或性质。在数学中，函数系的概念广泛应用于多个领域，如数学分析、泛函分析、逼近论等。函数系中的函数可以是同一类型的，也可以是不同类型的，关键在于它们之间的某种联系或共性。测度（Measure）是一个数学术语，在数学和物理学等多个领域都有广泛应用。数学上，测度是一个函数，它对一个给定集合的某些子集指定一个数，这个数可以比作大小、体积、概率等等。简单来说，测度就是用来量化集合或其子集的一种数学工具。
机器学习笔记 第二章模型估计与选择
qq_53034510的博客
07-22 807
为此，需使用一个“测试集”来测试学习器对新样本的判别能力，然后以测试集上的“测试误差”作为泛化误差的近似。当学习器把训练样本学得“太好”了的时候，很可能已经把训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样会导致泛化性能下降，这种现象在机器学习中称为“过拟合”。答案是否定的，因为测试性能不等于泛化性能，测试性能随着测试集的变化而变化，很多机器学习算法本身有一定的随机性。显然，泛化误差越小越好，但是，我们事先并不知道新样本，实际能做的是努力使经验误差最小化。泛化误差：在“未来”样本上的误差。
机器学习笔记 第一章绪论
qq_53034510的博客
07-22 720
归纳偏好的作用在图1.3这个回归学习图示中可能更直观.这里的每个训 练样本是因中的一个点 (x，y)， 要学得一个与训练集一致的模型，相当于找到一 条穿过所有训练样本点的曲线.显然，对有限个样本点组成的训练集，存在着 很多条曲线与其一致.我们的学习算法必须有某种偏好，才能产出它认为"正确"的模型。从数据中学的模型的过程称为“学习”或“训练”，这个过程通过执行某个学习算法来完成，训练过程中使用的数据称为“训练数据”，其中每个样本称为一个“训练样本”，训练样本组成的集合称为“训练集”。表示第i个样例，其中。
机器学习 | 计算分类算法的ROC和AUC曲线以随机森林为例
python收藏家的博客
07-24 660
总之，计算随机森林分类器的ROC AUC分数在Python中是一个简单的过程。sklearn.metrics模块提供了计算ROC曲线、ROC AUC评分和PR曲线的函数。ROC曲线和PR曲线是评估二值分类器性能的有用工具，它们可以帮助基于不同评估指标之间的权衡来选择分类器的最佳阈值。PR（precision-recall）曲线是二元分类问题的另一个评估指标。PR曲线是针对不同分类阈值的精确度（y轴）对召回率（x轴）的图。
昇思25天学习打卡营第14天|Vision Transformer图像分类
Xavier_F的博客
07-21 600
本案例详细介绍了ViT模型在ImageNet数据集上的训练、验证和推理过程，重点讲解了模型的核心结构和关键概念，如Multi-Head Attention、Transformer Encoder和位置编码等。通过学习此案例，用户将掌握ViT的基本原理以及其在图像分类任务中的应用潜力，为深入研究计算机视觉领域提供了坚实基础。!
【Rust光年纪】数据科学与机器学习：深入了解Rust语言中的6个关键库
记录我的学习历程
07-22 1149
本文将重点介绍六个在Rust语言中具有重要作用的库和框架，分别是ndarray、linfa、tangram、juicer、leaf和rustlearn。这些工具提供了丰富的功能和灵活的API，为开发者们在数据处理、机器学习和自然语言处理等领域提供了便利。通过本文的阅读，读者将能够了解到这些工具的核心功能、使用场景、安装与配置方法以及API概览，帮助他们在Rust语言中进行相关领域的开发工作。
时序差分强化学习详细介绍
07-20
时序差分强化学习（Temporal Difference Reinforcement Learning, TDRL）是一类强化学习算法，结合了动态规划和蒙特卡洛方法的思想。它通过使用经验数据进行增量式的更新，同时利用了当前和未来的估计值来逼近最优值函数。 时序差分强化学习方法的核心思想是通过估计值函数的差分来更新值函数的估计值。在每个时间步，智能体观察到当前状态、选择动作、观察到下一个状态和收到奖励。然后，根据差分误差（TD误差）来更新值函数的估计值。 TD误差定义为当前状态下的估计值与下一个状态的估计值之差加上即时奖励。TD误差可以表示为： TD_error = R + γV(s') - V(s) 其中，R是即时奖励，V(s)是当前状态s的估计值，V(s')是下一个状态s'的估计值，γ是折扣因子，用于衡量未来奖励的重要性。 根据TD误差，可以使用不同的更新规则来更新值函数的估计值。常见的时序差分强化学习算法包括以下几种： 1. SARSA（State-Action-Reward-State-Action）：SARSA算法使用状态-动作对的估计值来更新Q值函数的估计值。在每个时间步，智能体根据当前策略选择动作，观察到下一个状态和奖励，并根据TD误差来更新Q值函数的估计值。 2. Q-learning：Q-learning算法也是一种基于TD误差的更新规则，但它使用了下一个状态的最大估计值来更新Q值函数的估计值。在每个时间步，智能体根据当前策略选择动作，观察到下一个状态和奖励，并通过TD误差和最大估计值来更新Q值函数的估计值。 3. TD(λ)：TD(λ)算法是一种使用λ折扣因子的时序差分强化学习算法。它通过考虑未来多个时间步的估计值来更新值函数的估计值。TD(λ)算法将过去若干时间步的TD误差进行加权求和，并根据加权和来更新值函数的估计值。 时序差分强化学习方法具有较高的效率和适应性，可以在每个时间步骤中进行更新，不需要等到任务结束后才进行更新。它能够快速收敛到最优策略，并且可以处理具有部分可观测性和连续状态空间的问题。该方法在许多领域中都有广泛的应用，如机器人控制、游戏智能、自动驾驶等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值