强化学习——day29 时序差分算法（TD）

最新推荐文章于 2024-06-04 22:50:27 发布
最新推荐文章于 2024-06-04 22:50:27 发布
阅读量441 收藏 1
点赞数
分类专栏： 强化学习 文章标签： 算法 时序差分
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43537420/article/details/127037580
版权

时序差分算法

蒙特卡洛(MC)和时序差分(TD)的优缺点

MC更吃资源，而TD低方差，收敛效率较高
请添加图片描述

随机游走的例子

  • 每一个节点都向右走的策略
    在这里插入图片描述
  • MC和TD对比例子，MC向右越来越稳点，TD带波动
    在这里插入图片描述

MC Backup（蒙特卡洛反向传播）

在这里插入图片描述

Gt ——回报
在这里插入图片描述
在这里插入图片描述

时序差分反向传播

在这里插入图片描述

动态规划反向传播

反向求得Rt+1
在这里插入图片描述

n步时序差分

与一步时序差分的区别在于，比如下棋，有的人能看到一步棋，有的人能看到多步之后，理性情况下，够看到更多步的人赢面更大；非理性情况下，n步的训练数据越长方差越大，所以不稳定性增长了。
在这里插入图片描述

总览：RL值函数估计多种方法

动态规划DP：所有状态都知道，逐步更新
MC：看无穷远
TD：看一步
暴力搜素：遍历然后找最好的
在这里插入图片描述

值函数估计总结

在这里插入图片描述

想太多!
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
强化学习（五）用时序差分法（TD）求解
wenyusuran的专栏
07-31 1299
　　在强化学习（四）用蒙特卡罗法（MC）求解中，我们讲到了使用蒙特卡罗法来求解强化学习问题的方法，虽然蒙特卡罗法很灵活，不需要环境的状态转化概率模型，但是它需要所有的采样序列都是经历完整的状态序列。如果我们没有完整的状态序列，那么就无法使用蒙特卡罗法求解了。本文我们就来讨论可以不使用完整状态序列求解强化学习问题的方法：时序差分(Temporal-Difference, TD)。 　　　　时序差分...
强化学习的Q(λ）学习原理资料
03-27
Q(λ)-学习（Watkins，1989；... Q(λ) 被广泛使用——人们普遍认为它优于简单的一步 Q 学习，因为它使用单一经验来更新评估过去发生的多个状态/动作对 (SAP)。线上与线下。我们区分在线强化学习和离线强化学习。
强化学习：时序差分算法 TD-learning
qq_50086023的博客
06-23 1833
强化学习：时序差分算法 TD-learning
强化学习 4 —— 时序差分法（TD）的解决无模型的预测与控制（SARSA and Q-Learning）
靡不有初鲜克有终
08-09 4220
强化学习 4 —— Model Free TD 在上篇文章强化学习 3 ——蒙特卡洛 (MC) 采样法的预测与控制中我们讨论了 Model Free 情况下的策略评估问题，主要介绍了蒙特卡洛（MC）采样法的预测与控制问题，这次我们介绍另外一种方法——时序差分法（TD） 一、时序差分采样法（TD） 对于MC采样法，如果我们没有完整的状态序列，那么就无法使用蒙特卡罗法求解了。当获取不到完整状态序列时， 可以使用时序差分法(Temporal-Difference, TD)。 1、TD 简介 对于蒙特卡洛采样法计算
基于价值的强化学习方法-时序差分法(TD)
HEU_Yutianqi的博客
04-18 1261
Q-Learning与SARSA——理论推导与代码实现
RL（六）时序差分法（TD）
weixin_42022175的博客
08-20 3049
目录时序差分概述 时序差分概述 前面我们讲了基于模型的动态规划和不基于模型的蒙特卡罗算法，他们都有各自的优点和缺点。动态规划能够很好的基于模型来求解强化学习，但是现实问题中很少能提前知道这个模型；蒙特卡罗算法能够一定程度上结局无模型的强化学习任务，但是它必须在拥有完整的序列的前提下才能得到好的效果，这在现实中也很难实现。未来更高效的求解强化学习任务，我们基于自举方式的动态规划和基于采样思想的蒙特卡...
强化学习——时序差分
weixin_43242381的博客
11-22 404
强化学习——时序差分
强化学习（RL)——Reinforcement learning
雨落i的博客
09-24 7998
强化学习（Reinforcement Learning, RL）**是机器学习中的一个领域**，又称再励学习、评价学习或增强学习。强化学习也是一类机器学习算法, 而强化学习是介于监督学习和非监督学习的另外一种学习方式。 强化学习+深度学习就等同于人工智能！
【百度飞桨paddlepaddle】强化学习7日打卡营
weixin_48959726的博客
06-26 314
文章目录写在前面day1day2 基于表格的方法求解RLday3 基于神经网络的方法求解RL值函数近似DQN两大创新点Experience Replay: 解决样本的相关性和利用效率的问题Fixed Q Target: 解决算法训练不稳定的问题DQN流程图day4 基于策略梯度(Policy Gradient)求解RLday5 连续动作空间上求解DDPG(Deep Deterministic Policy Gradient) 写在前面 强化学习是一门来源于心理学的学科，每个人都是过去经验的总和 你过去的经验
深度学习（基于Tensorflow2.0）学习笔记——Day2
01-20
昨天已经把关于深度学习的一些基础知识简要回顾了一下，那么从今天开始就要正式开始实战了。正所谓“万事开头难”，但如果不迈出第一步就永远无法知道自己究竟能不能完成。所以不要望而生畏，更不能眼高手低，放低...
深度学习（基于Tensorflow2.0）学习笔记——Day3
01-06
经过一番折腾，我们终于配置好了Tensorflow2.0的环境，接下来通过Tensorflow来一起揭开深度学习的神秘面纱吧。 实战Tensorflow分类器 首先我们打开我们昨天的Hello TF工程，进入编辑界面之后，依次点击Kernel -> ...
深度学习（基于Tensorflow2.0）学习笔记——Day4
01-07
这也就引出了我们接下来学习的内容： 数据归一化处理 回调函数的作用 数据归一化处理 归一化大家都不陌生，简单的理解，它的作用就是把你需要用到的数据经过处理后（通过某种算法）将其限制在你所规定的范围内。那么...
每天30分钟 一起来学习爬虫——day9（解析数据 之 正则表达式，实例：笑话大全图片爬取）
01-21
文章目录常用正则表达式实例：爬取笑话大全的图片 常用正则表达式 单个字符： 符号 含义 . 除换行以外所有字符 [] [a-w] a-w 之间任意一个字符 \d 数字[0-9] \D 非数字 \w 数字、字母、下划线、...以
Leecode---347：输出前k个高频元素（使用unordered_map）
qq_41920323的博客
05-30 347
unordered_map实现输出前k个高频元素
回溯之分割回文串
最新发布
JINbigXIA的博客
06-04 127
思路：直接看回溯函数的内容，首先我们是取段的，如果这一段不行那就往后面加1，直到加道循环结束。如果可以取端，并且取到了最后一段，也就是开始的startIndex大于等于size那么就代表这一条都是回文字符串。然后需要一个判断函数，判断字符串是否为回文字符串，如果是往path里面加。学到的新函数：array.substr( a ,b) a表示字符串的开始，b表示数量 含义：选取字符串array从a开始往后的b个数。难点：这里用到一个很取段的思路，其实和取点的内容差不多，但是取端更难理解。
【LeetCode刷题】二分查找：寻找旋转排序数组中的最小值、点名
认真分享博客，认真分享学习
06-01 704
与 当前数组各个数异或，若结果为x，则返回x；当x等于0时，需要格外处理，有两种情况，缺0或者是最后一个数后面的数。这道题的二分查找很有趣，需要细节，能发现二段性，这题就相当简单。若结果为x，则返回x；当x等于0时，需要格外处理，与思路3一样。遍历数组，寻找后一位减前一位的差为2的数，找到就返回，没找到就返回最后一个数的下一个。这里我们可以有两种方式：以A为参照，以D为参照，来找C点的值。这道题很简单，有很多思路，简单的我就直接讲一下过程就OK。分别将数据导入哈希表，然后查看哪个数的个数为零，返回该值。
Java多线程（04）—— 保证线程安全的方法与线程安全的集合类
2201_75456895的博客
05-30 1221
其含义为：CAS(M, A, B);M 表示内存，A 和 B 分别表示一个寄存器；如果 M 的值和 A 的值相同，则把 M 和 B 的值交换，如果不同，则无事发生；因为，因此可以基于 CAS 指令，不进行加锁，来编写线程安全代码；CAS 指令操作经过操作系统，JVM 的层层封装，最后 Java 标准库，提供了一些工具类，其中最主要工具类就是由于原子类内部用的是 CAS 实现，所以性能要比加锁实现高很多；在包下；
一千题，No.0037（组个最小数）
2301_76783671的博客
05-29 927
给定数字 0-9 各若干个。你可以以任意顺序排列这些数字，但必须全部使用。目标是使得最后得到的数尽可能小（注意 0 不能做首位）。例如：给定两个 0，两个 1，三个 5，一个 8，我们得到的最小的数就是 10015558。输入在一行中给出 10 个非负整数，顺序表示我们拥有数字 0、数字 1、……整数间用一个空格分隔。10 个数字的总个数不超过 50，且至少拥有 1 个非 0 的数字。现给定数字，请编写程序输出能够组成的最小的数。在一行中输出能够组成的最小的数。
强化学习学习率调节算法模拟退火
07-25
- *1* *2* *3* [深度学习——day8 读论文（2022 硕士毕业论文）大规模车辆路径问题的深度强化学习算法研究](https://blog.csdn.net/qq_43537420/article/details/126663139)[target="_blank" data-report-click={...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值