【TD算法】Multi-Step TD Target

于 2022-10-16 22:42:58 发布
阅读量174 收藏 1
点赞数
分类专栏： 深度强化学习 文章标签： 深度强化学习 TD算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44319285/article/details/127354700
版权

回顾 Sarsa 和 Q-Learning

在这里插入图片描述
两种算法都只包含一个 r t r_t rt​，每次只使用一个过程单元
在这里插入图片描述
但其实也可以同时使用两个动作过程
在这里插入图片描述
这样得到的TD Target 叫做 Multi-Step TD Target
这样的效果更好一点

数学推导

在这里插入图片描述
若用于Sarsa算法 有
在这里插入图片描述
如果是Q-Learning 算法
在这里插入图片描述
多步TD Target 与 一步TD Target 的对比
在这里插入图片描述

Echoooooh
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
强化学习（TD算法）
06-30
强化学习的任务就是利用观察到的回报来学习针对某个环境的最优或接近最优策略。它作为一种无导师机器学习方法，把环境的反馈作为 输入、通过学习选择能达到其目标的最优动作
Multi-Step TD target
qq_41903673的博客
03-28 476
这是对TD算法的一种改进 回顾Sarsa和Q-learning: 这两种算法的TD target都包含一个rt，但是如果有多个奖励，则称为Multi-Step TD target，会让效果变得更好。 每次都是观测一组transition，即，这样算出的TD target叫做one-step TD target，其实可以考虑多个奖励计算TD target，然后对动作价值进行一次更新。如同时使用两个transition的奖励，这样算出的就叫做Multi-Step TD target: 推导：
【Multi-Step TD Target】TD算法的改进
lt_BeiMo的博客
09-01 429
强化学习相关的TD算法改进的介绍。此处笔记根据B站课程，王树森老师的强化学习记录而来。
Continuous Multi-Step TD, Eligibility Traces and TD(λ): A brief note
weixin_34216036的博客
05-19 152
Thanks Richard S. Sutton and Andrew G. Barto for their great work in Reinforcement Learning: An Introduction. We focus on episodic case only and deal with continuous st...
Monte Carlo与TD算法
weixin_33967071的博客
01-16 457
RL 博客：http://blog.sciencenet.cn/home.php?mod=space&uid=3189881&do=blog&view=me&from=space&srchtxt=RL&page=1 转自：http://blog.sciencenet.cn/home.php?mod=space&uid=3189881&amp...
TD-SCDMA-detection-.zip_SCDMA_td-scdma
09-23
开发者可能使用MATLAB来模拟TD-SCDMA网络环境，包括信道模型、多径衰落、用户分布等，并且实现联合检测算法，观察其在不同条件下的性能表现，如误码率（BER）、接收机操作特性（ROC）曲线等。 在实际应用中，联合...
TD-get-datas.py
02-18
TD-get-datas.py
TD.rar_TD_TD-ADRC_TD-SCDMA物理层仿真程序_downlink simulation_td-scdma
09-23
【TD.rar_TD_TD-ADRC_TD-SCDMA物理层仿真程序_downlink simulation_td-scdma】这个压缩包文件主要涉及的是TD-SCDMA（时分同步码分多址）技术的物理层仿真程序，特别是针对下行链路的模拟。TD-SCDMA是中国主导的3G...
td.rar_TD_td-scdma_土地
09-21
这个是我们做土地局的一个项目。感觉不错。欢迎下载
td.rar_td-scdma
09-23
标题中的“td.rar_td-scdma”暗示了我们讨论的主题是TD-SCDMA（时分同步码分多址）技术，这是一种3G移动通信标准，主要用于中国的无线通信网络。TD-SCDMA是中国自主开发的，与WCDMA和CDMA2000并列的3G标准之一。 在...
阿尔伯塔大学提出新型多步强化学习方法，结合已有TD算法实现更好性能
机器之心
12-30 1137
在 AAAI 2018 接收论文列表中，来自阿尔伯塔大学强化学习和人工智能实验室 Richard S. Sutton 等研究者的一篇论文提出一种新的多步动作价值算法 Q(σ)，该算法结合已有的时序差分算法，可带来更好性能。机器之心对此论文做了简要介绍，更多详细内容请查看原文。 时序差分（TD, Sutton, 1988）法是强化学习中的一个
增强学习Reinforcement Learning经典算法梳理3：TD方法
热门推荐
Flood Sung的专栏
05-12 5万+
1 前言在上一篇blog中，我们分析了蒙特卡洛方法，这个方法的一个特点就是需要运行完整个episode从而获得准确的result。但是往往很多场景下要运行完整个episode是很费时间的，因此，能不能还是沿着bellman方程的路子，估计一下result呢？并且，注意这里，依然model free。那么什么方法可以做到呢？就是TD（temporal-difference时间差分）方法。有个名词注意一
数据分析的核心技能和方法
07-19
数据分析的核心技能和方法
毕业设计javajsp人寿保险销售网站(ssh)-qkrp源码含文档工具包
07-19
毕业设计javajsp人寿保险销售网站(ssh)-qkrp源码含文档工具包 后台是ssh框架，页面是jsp，数据库mysql，jdk1.8，开发工具用ecplise、myecplise、sts、idea都可以 平湖人寿保险公司保险销售网站分为用户和管理员两个部分 前台部分（用户界面）： 1、资讯浏览功能： （1）新闻资讯浏览 （2）新闻资讯查询 （3）公司简介 （4）通知公告 2、用户登录注册功能： （1）注册 （2）登录 3、用户管理功能 （1）个人信息管理 （2）订单管理 4、保险购买功能： （1）保险产品浏览 （2）保险产品查询 （3）保险产品购买 后台管理（管理员界面） 1、管理员登录功能： 管理员在管理员登录界面输入用户名和密码，即可登录管理员的界面。 2、资讯管理功能： （1）新闻资讯管理 （2）公司简介管理 （3）通知公告管理 3、保险产品管理： （1）保险产品信息管理 （2）保险产品查询 4、会员管理： （1）会员删除 （2）会员级别管理 5、统计管理： （1）保险产品销售量统计 （2）有效会员数量统计 包含：源码、数据库脚本、论文、环境工具包、相同框架项目的安装教程
毕业设计javajsp公共课考试系统(ssh)-qlkrp源码工具包
最新发布
07-19
毕业设计javajsp公共课考试系统(ssh)-qlkrp源码工具包 后台是ssh框架，页面是jsp，数据库mysql，jdk1.8，开发工具用ecplise、myecplise、sts、idea都可以 题库 试卷信息管理 阅卷 统计功能 包含：源码、数据库脚本、环境工具包、相同框架项目的安装教程（在说明文档中）
揭秘黑箱：YOLO预测结果的可解释性探究
07-19
YOLO（You Only Look Once）是一种流行的实时对象检测系统，最初由 Joseph Redmon 等人在 2015 年提出。它的核心思想是将对象检测任务视为一个回归问题，直接从图像像素到边界框坐标和类别概率的映射。YOLO 以其快速和高效而闻名，特别适合需要实时处理的应用场景。 以下是 YOLO 的一些关键特点： 1. **单次检测**：YOLO 模型在单次前向传播中同时预测多个对象的边界框和类别概率，不需要多次扫描图像。 2. **速度快**：YOLO 非常快速，能够在视频帧率下进行实时检测，适合移动设备和嵌入式系统。 3. **端到端训练**：YOLO 模型可以从原始图像直接训练到最终的检测结果，无需复杂的后处理步骤。 4. **易于集成**：YOLO 模型结构简单，易于与其他视觉任务（如图像分割、关键点检测等）结合使用。 5. **多尺度预测**：YOLO 可以通过多尺度预测来检测不同大小的对象，提高了检测的准确性。 YOLO 已经发展出多个版本，包括 YOLOv1、YOLOv2（也称为 YOLO9000）、YOLOv3、YOLOv4 和 YOLOv5 等。
吃鸡pubg适用于罗技GHUB的鼠标宏
07-19
安装步骤如下！ 导入lua宏到GHUB的步骤如下： 1. 打开GHUB，选择你的罗技鼠标。 2. 转到“宏”选项卡，创建一个新的宏。 3. 在宏编辑器中，点击“导入”，选择"pubg1.lua"文件。 4. 宏会自动加载lua文件中的所有操作，你可以调整它们的顺序或延迟时间，以适应自己的游戏风格。 5. 将这个宏绑定到鼠标上的任意按键，就可以在游戏中使用了
基于海洋捕食者优化算法MPA-VMD实现信号去噪目标函数为包络信息熵 包络熵 排列熵 样本熵最小附matlab代码.rar
07-19
1.版本：matlab2014/2019a/2021a 2.附赠案例数据可直接运行matlab程序。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。 5.作者介绍：某大厂资深算法工程师，从事Matlab算法仿真工作10年；擅长智能优化算法、神经网络预测、信号处理、元胞自动机等多种领域的算法仿真实验，更多仿真源码、数据集定制私信+。 替换数据可以直接使用，注释清楚，适合新手
TD400C-CN文本显示器入门教程：从安装到故障排除
- **设备替换**：提供了将其他型号的TD设备替换为TD400C的指导，确保无缝过渡。 - **故障排除**：提供了一套诊断和解决问题的步骤，帮助用户快速定位和修复设备故障。 ### 安全注意事项 - **安全提示**：手册中包含...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值