2、TD+Learning

最新推荐文章于 2024-05-16 21:41:01 发布
最新推荐文章于 2024-05-16 21:41:01 发布
阅读量121 收藏
点赞数
分类专栏： # 强化学习 文章标签： python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50973728/article/details/125651752
版权

Discounted Return

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

Sarsa

TD算法，用来学习动作价值函数QΠ

Sarsa：Tabular Version

在这里插入图片描述
在这里插入图片描述
Sarsa’s Name
在这里插入图片描述
表格状态的Sarsa适用于状态和动作较少，随着状态和动作的增大，表格增大就很难学习

Sarsa：Neural Network Version

在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Q-Learning

TD算法，学习最优动作算法

Sarsa与Q-Learning
在这里插入图片描述
在这里插入图片描述

Derive TD Target

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Q-Learning(tabular version)

在这里插入图片描述

Q-Learning(DQN Version)

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Multi-Setp TD Target

  • Using One Reward
    在这里插入图片描述
  • Using Multiple Rewards
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

价值回放（Revisiting DQN and TD Learning）

  • Shortcoming 1：Waste of Experience

在这里插入图片描述

  • Shortcoming2：Correlated Updates
    在这里插入图片描述
  • 经验回放

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • History

在这里插入图片描述

Prioritized Experience Replay

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
左边是马里奥常见场景，右边是boos关场景，相对于左边而言，右边更少见，因此要加大右边场景的权重，TD error越大，那么该场景就越重要
在这里插入图片描述
在这里插入图片描述
随机梯度下降的学习率应该根据抽样的重要性进行调整
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
一条样本的TD越大，那么抽样权重就越大，学习率就越小

高估问题

在这里插入图片描述
Bootstrapping：自举问题，拽自己的鞋子将自己提起来
类似左脚踩右脚上天方法，现实中是不存在，强化学习中存在
在这里插入图片描述
在这里插入图片描述

Problem of Overestimation

在这里插入图片描述

  • Reason 1:Maximization
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • Reason 2:Bootstrapping
    在这里插入图片描述
  • Why does overestimation happen
    在这里插入图片描述

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • Why overestimation is a shortcoming
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
  • Solutions
    在这里插入图片描述

Target Network

在这里插入图片描述
TD Learning with Target Network
在这里插入图片描述
Update Target Network在这里插入图片描述
Comparisons
在这里插入图片描述
Target Network虽然好了一点，但仍然无法摆脱高估问题

Double DQN

  • Naive Update
    在这里插入图片描述

  • Using Target Network
    在这里插入图片描述

  • Double DQN
    在这里插入图片描述

  • Why does Double DQN work better
    在这里插入图片描述

Dueling Network

Advantage Function（优势函数）

  • Value Functions
    在这里插入图片描述

  • Optimal Value Functions
    在这里插入图片描述
    Properties of Advantage Function
    在这里插入图片描述
    在这里插入图片描述

Dueling Network

在这里插入图片描述
Revisiting DQN
在这里插入图片描述
Approximating Advantage Function
在这里插入图片描述
Approximating State-Value Function
在这里插入图片描述
Dueling Network:Formulation
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
蓝色加上红色再减去红色的最大值就得到紫色最后Dueling Network输出
在这里插入图片描述
Problem of Non-identifiability
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

C--G
关注
专栏目录
Keras Reinforcement Learning Projects
10-22
You’ll also explore projects such as forecasting stock prices using Monte Carlo methods, delivering vehicle routing application using Temporal Distance (TD) learning algorithms, and balancing a ...
时间差分算法（TD Learning）（Sarsa、Q-Learning、Multi-Step TD Target）
qq_44755885的博客
03-22 2556
时间差分算法（TD Learning）学习笔记，包括三部分内容：Sarsa、Q-Learning、Multi-Step TD Target
强化学习：时序差分算法 TD-learning
qq_50086023的博客
06-23 1749
强化学习：时序差分算法 TD-learning
深度强化学习4——时序差分学习(TD)的Q learning和Sarsa learning
谢宜廷的博客
11-05 4103
前面我们讲到了蒙特卡洛方法在未知环境下求解马尔科夫决策过程(MDP)，然而蒙特卡洛方法也有自身的限制，蒙特卡洛方法就是反复多次试验，求取每一个实验中每一个状态s的值函数，也就是说，只要这个MDP是有终点的，我们就可以计算出每一个状态下的Return，也就是说蒙特卡罗法通过采样若干经历完整的状态序列(episode)来估计状态的真实价值，所谓的经历完整，就是这个序列必须是达到终点的。比如下棋问题分出...
RL(Chapter 6): Temporal-Difference Learning (TD learning) (时序差分学习)
连理o的博客
11-14 1394
本文为强化学习笔记，主要参考以下内容： Reinforcement Learning: An Introduction 代码全部来自 GitHub 习题答案参考 Github 目录TD Prediction TD learning is a combination of Monte Carlo ideas and dynamic programming (DP) ideas. Like Monte Carlo methods, TD methods can learn directly from ra
增强学习Reinforcement Learning经典算法梳理3：TD方法
热门推荐
Flood Sung的专栏
05-12 5万+
1 前言在上一篇blog中，我们分析了蒙特卡洛方法，这个方法的一个特点就是需要运行完整个episode从而获得准确的result。但是往往很多场景下要运行完整个episode是很费时间的，因此，能不能还是沿着bellman方程的路子，估计一下result呢？并且，注意这里，依然model free。那么什么方法可以做到呢？就是TD（temporal-difference时间差分）方法。有个名词注意一
深度学习算法 Q-learning 原理
01-20
Q-learning Q-learning 是 value-based 的方法，在这种方法中我们不是要训练一个 policy，而是要训练一个critic网络。critic 并不直接采取行为，只是对现有的 actor ，评价它的好坏。 Value-Fuction critic 给出...
Reinforcement Learning: An Introduction
03-15
6.5 Q-Learning: Off-Policy TD Control 6.6 Actor-Critic Methods 6.7 R-Learning for Undiscounted Continuing Tasks 6.8 Games, Afterstates, and Other Special Cases 6.9 Summary 6.10 Bibliographical and ...
IE598NH-lecture-22-Analysis of TD Learning Algorithms.pdf
11-17
IE598NH-lecture-22-Analysis of TD Learning Algorithms.pdfIE598NH-lecture-22-Analysis of TD Learning Algorithms.pdf
TD learning,PER和Epsilon：深度学习对高等教育教学的启示.pdf
08-18
TD learning,PER和Epsilon：深度学习对高等教育教学的启示.pdf
TD Learning，SARSA，Q Learning
sunyao_123的博客
08-27 1661
最近在读一篇增强学习的综述 DEEP REINFORCEMENT LEARNING : AN OVERVIEW 发现里边介绍SARSA时，伪代码是错误的。 1.TD Learning 2.SARSA 错误就在于，sarsa算法的下一个动作在这次更新时就已经确定了。所以需要在step迭代之前对action进行初始化。 3.Q Learning 我们说Q Learning是o...
《Reinforcement Learning》 读书笔记 6：时序差分学习（TD-Learning）
qjf42的专栏
04-29 9179
《Reinforcement Learning: An Introduction》 读书笔记 - 目录 先来看一个例子 每天上班的路程，都是可以看作是一系列子过程的组合，如：走路去地铁站=>地铁1=>地铁2=>公交，总时长是这些子过程之和。每天我们依赖之前的经验，估计当天的时长，并更新我们的经验。 那么如何做出更好的估计呢？如何更快地积累有效的经验？ 尤其是在一个没有...
时间差分算法
Trony的博客
09-04 872
时间差分算法 Sarsa算法 Derive TD Target 回顾Discounted Return，不难推出这个时刻的回报等于这个时刻的奖励加上下个时刻的回报乘以γ\gammaγ 我们使用Ut=Rt+γ⋅Ut+1U_t = R_t + \gamma \cdot U_{t+1}Ut​=Rt​+γ⋅Ut+1​来推导TD target，通常认为奖励RtR_tRt​依赖于t时刻的动作AtA_tAt​和状态StS_tSt​，以及t+1时刻的状态St+1S_{t+1}St+1​，根据定义状态价值函数Qπ(
第三章 学习率（LR : learning rate）
weixin_52397563的博客
07-24 6525
在开启学习机器学习之前，我们先来了解了解机器学习中重要的参数吧，本文介绍了机器学习的基础内容之学习率（LR），本文仅仅简单介绍了学习率（LRlearningrate），而LR的调整对于网络模型的性能有重大影响，有很多的优化器专门用于调整学习率，如Adam、AdamW等，此外还有分阶段调整学习率的各种调参思路。...
【强化学习-07】Sarsa
HsinglukLiu的博客
01-27 193
SarsaDerive TD Target 本笔记整理自 (作者: Shusen Wang): https://www.bilibili.com/video/BV1rv41167yx?from=search&seid=18272266068137655483&spm_id_from=333.337.0.0 Derive TD Target
【Python】Python中变量或者函数加下划线‘_‘的含义
yangweipeng708的博客
05-14 678
理解这些约定可以帮助Python开发者编写更清晰、更Pythonic的代码，并理解其他Python代码中的命名习惯。）通常用来指示特定的编程约定或用法，这些约定主要关乎变量和函数的可访问性以及预期的使用范围。在Python中，变量或函数前面加一个下划线（
python3.6.8安装Transformers
筱阳的博客
05-13 796
4.transformers安装。
使用Python操作excel单元格——在单元格中插入公式
最新发布
xll_007的博客
05-16 350
使用Python操作excel单元格——在单元格中插入公式。 通过使用Python的openpyxl库，来操作excel单元格，在单元格中插入公式的操作。把学习的过程分享给大家。大佬勿喷！
python数据分析——时间序列
qq_74013365的博客
05-14 1996
时间序列是按照时间顺序排列的一系列随时间变化而变化的数据点或观测值。时间序列可以是离散的，例如每月的销售数据，也可以是连续的，例如气温和股票价格等。时间序列常用于预测和分析未来的趋势，例如经济增长、股票走势、天气变化等。时间序列分析是数据分析中的重要部分，它涉及到对随时间变化的数据进行研究，以揭示其内在规律、趋势和周期性变化。Python作为一种强大的编程语言，拥有众多的数据处理和可视化库，如pandasnumpymatplotlib和seaborn等，这些库在处理时间序列数据时表现出色。
reinforcement learning an introduction 答案
07-04
此外，本书还介绍了重要的强化学习算法，包括Temporal Difference Learning（TD-Learning）、Q-Learning和策略梯度方法等。这些算法通过巧妙地利用奖励信号和经验数据，来指导智能体学习最佳策略。 《强化学习简介...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值