强化学习——蒙特卡洛MC与时序差分TD

最新推荐文章于 2024-07-10 13:46:51 发布
最新推荐文章于 2024-07-10 13:46:51 发布
阅读量955 收藏 3
点赞数 1
分类专栏： 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/deepseazbw/article/details/110501896
版权
本文介绍了强化学习中的蒙特卡洛和时序差分算法，通过实例解释了REINFORCE算法和Policy Gradient。重点讨论了Policy Gradient如何结合奖励汇报调整策略，并利用损失函数进行优化。
摘要由CSDN通过智能技术生成

本文内容源自百度强化学习 7 日入门课程学习整理
感谢百度 PARL 团队李科浇老师的课程讲解

参考博客：感谢博主

目录

1.蒙特卡洛与时序差分

2.REINFORCE

3.类比监督学习理解Policy Gradient

4.Policy Gradient

1.蒙特卡洛与时序差分

  • 蒙特卡洛算法完成一个回合(epsiode)，然后进行一次学习learn()，回合更新。
  • 完整运行一个 episode，可得到每一个step的reward从而可以知道每一步 step 的未来总收益$$ G_t $$
  • 例子：REINFORCE算法

 

  • 时序差分算法在每一步(step)进行更新，单步更新。
  • 例子：Actor-Critic

2.REINFORCE

最低0.47元/天 解锁文章
深海沧澜夜未央
关注
专栏目录
强化学习(四)：蒙特卡罗学习(MonteCarlo)与时序差分学习(TD learning)
01-20 3万+
上一节讲的是在已知模型的情况下，如何去解决一个马尔科夫决策过程(MDP)问题。方法就是通过动态规划来评估一个给定的策略，通过不断迭代最终得到最优价值函数。具体的做法有两个：一个是策略迭代，一个是值迭代。从这一节开始，我们将要进入模型未知的情况下，如何去解决一个MDP问题的方法。 从本讲开始会用两讲的时间讨论解决一个可以被认为是MDP、但却不掌握MDP具体细节的问题，也就是讲述如何直接从Agent
强化学习3：蒙特卡洛和时序差分
小辉的数学博客
02-23 1596
蒙特卡洛算法和时序差分算法，SARSA和Q-learning
强化学习中的蒙特卡洛算法和时序差分算法
最新发布
TheJustice_的博客
07-10 869
蒙特卡洛方法和时序差分方法各有优缺点，在不同的应用场景下可以互为补充。蒙特卡洛方法通过完全序列的回报估计状态值，适用于离线处理；时序差分方法通过每一步的即时回报和估计值更新状态值，适合在线学习和实时更新。在实际应用中，可以根据具体需求选择合适的方法，甚至可以结合使用，以达到最优的价值估计效果。
4.蒙特卡洛（Monte-Carlo, MC）+时序差分（Temporal Difference, TD）
qq_39160779的博客
07-13 1333
目录 深度强化学习目录 简介 之前讲的PG算法和PPO算法，都是Policy-based的方法，接下来我们要讲Value-based的方法。之前说过了，P-B方法和V-B方法的区别在于前者训练的是策略本身（actor），而后者训练的是一种评判标准（critic）。critic能根据你输入的状态/动作，凭借策略π\piπ来输出对应的值函数。值函数有两种，一种是V（状态-值函数），一种是Q（状态-动作值函数），我们要讲的MC算法和TD算法是用来估计V值函数的。 符号 τ\tauτ：一轮游戏中的具体过程（tra
强化学习(四)——蒙特卡洛和时序差分
乘风破浪2014
04-27 3277
强化学习中有两类问题，一是预测问题，即已知，二是控制问题，即。 TD有偏差，但方差小 MC无偏差，但方差大 偏差：预测值与真实值之间的差距 方差：预测值与期望之间的差距，关注预测值的离散程度。 ...
强化学习（RL）学习笔记（二）蒙特卡洛（MC），时序差分(TD)算法
qq_42715079的博客
06-28 929
强化学习（RL）学习笔记（二）蒙特卡洛 Monte-Carlo算法： 1.讲agent放入环境的任意状态 2.从这个状态开始选择action, 并进入下一个状态 3.重复第二步知道达到最终状态 4.从最终状态回溯，计算每一个状态的G值 5.重复1-4过程，然后平均每一次的G值，最后得到的就是V值 ...
[强化学习-4] 蒙特卡洛和时序差分法-控制
Sundrops的专栏
08-31 1763
蒙特卡洛
强化学习（第二版）笔记——第六章 时序差分学习
weixin_38886470的博客
12-02 988
参考 周博磊老师课程 Richard S.Sutton 《Reinforcement Learning》第六章 时序差分学习 Temporal-Difference Learning TD1. 时序差分学习在强化学习中的应用2 时序差分预测 1. 时序差分学习在强化学习中的应用 在强化学习所有的思想中，时序差分(TD)学习无疑是最核心、最新颖的思想。时序差分学习结合了蒙特卡洛方法和动态规划方法的思想。与蒙特卡洛方法一致，时序差分方法也可以直接从与环境互动的经验中学习策略，而不需要构建关于环境动态特性的
时序差分方法求解强化学习任务——时序差分方法介绍
静静的学习就好
07-01 612
前面介绍了使用蒙特卡洛方法求解强化学习任务。本节针对蒙特卡洛方法的弊端，介绍时序差分方法。
25、n步时序差分预测1
08-03
在强化学习中，时序差分（Temporal Difference, TD）学习是一种重要的价值估计方法。本节重点讨论n步时序差分预测，它是介于SARSA（State-Action-Reward-State-Action）算法和蒙特卡洛（Monte Carlo, MC）方法之间的...
3. 免模型策略估计——蒙特卡洛（Monte-Carlo）和时序差分（Temporal-Difference）
weixin_30295091的博客
11-01 455
上一篇动态规划讲的是在马尔科夫模型$<S, A, P, R, \gamma>$完全已知的情况下，利用概率全展开求解最优策略。可是有很多实际的情况是，我们没办法获得准确的分布来全概率展开的，那么对于这样马尔科夫模型不完全已知，即转移概率未知，不能全概率展开的情况我们应该怎么做呢？这就是强化学习的核心了，我们从生成的经验样本状态-动作-奖励对中，通过采样的方式估计价值函数，学习最优策略。从...
强化学习：蒙特卡洛方法(MC)
qq_50086023的博客
06-14 1673
强化学习：蒙特卡洛方法(MC)
强化学习极简入门：通俗理解MDP、DP MC TC和Q学习、策略梯度、PPO
热门推荐
结构之法 算法之道
02-10 5万+
强化学习里面的概念、公式，相比ML/DL特别多，初学者刚学RL时，很容易被接连不断的概念、公式给绕晕，而且经常忘记概念与公式符号表达的一一对应(包括我自己在1.10日之前对好多满是概念/公式的RL书完全看不下去，如今都看得懂了，故如果读文本之前，你正在被RL各种公式困扰，相信看完这篇RL极简入门后就完全不一样了)。
强化学习基础 | (4) 用蒙特卡罗法（MC）求解
sdu_hao的博客
08-21 844
原文地址 作者：刘建平 在用动态规划（DP)求解中，我们讨论了用动态规划来求解强化学习预测问题和控制问题的方法。但是由于动态规划法需要在每一次回溯更新某一个状态的价值时，回溯到该状态的所有可能的后续状态。导致对于复杂问题计算量很大。同时很多时候，我们连环境的状态转化模型P都无法知道，这时动态规划法根本没法使用。这时候我们如何求解强化学习问题呢？本文要讨论的蒙特卡罗(Monte-Calo, MC)就是一种可行的方法。 蒙特卡罗法这一篇对应Sutton书的第五章和UCL强化学习课程的第四讲部分，第五讲部分。 文
强化学习蒙地卡罗MC更新公式原理，通俗易懂
m0_54618081的博客
07-21 203
在学习蒙地卡罗更新公式原理之前我们要要了解一下三个理论基础。
强化学习笔记：MDPs、MC、TD
LuoMin2523的博客
06-23 1105
1、强化学习的特点 1.没有监督标签。只会对当前状态进行奖惩和打分，其本身并不知道什么样的动作才是最好的。 2. 评价有延迟。往往需要过一段时间，已经走了很多步后才知道当时选择是好是坏。有时候需要牺牲一部分当前利益以最优化未来奖励。 3. 时间顺序性。每次行为都不是独立的数据，每一步都会影响下一步。目标也是如何优化一系列的动作序列以得到更好的结果。即应用场景往往是连续决策问题。 4. 与在线学习相比，强化学习方法可以是在线学习思想的一种实现，但是在线学习的数据流一定是增加的，而强化学习的数据可...
强化学习笔记4-MC,TD方法
weixin_39328611的博客
03-14 524
不需建模的策略评估 先复习需要建模的方法 动态programming：我们需要model，P,R 无需建模的： R（s）累计的瞬时reward 其期望为Vπ(s)V^{\pi}(s)Vπ(s) Vπ(s)V^{\pi}(s)Vπ(s)的估计 不用模型计算R（s） 采用从s开始的N trajectories有的reward：R1,R2,R3… Monte Carlo 方法 V（s）的近似值为1/N Rk的和 ，近似期望 估计值收敛到实数期望，variance收敛到0，方差很大 通过迭代平均来完成 很浪费
三 蒙特卡罗方法（MC）和时序差分方法（TD）
Autumncow的博客
11-16 1760
之前我们已经说过基于动态规划的方法来解决强化学习的问题，但是这是对于有一定的模型（知道在某一个状态下采取某一个动作的概率）才能应用的场景，在实际的情况中，想要了解到所有状态下可以采取行动的概率以及采取行动后到达某一状态的概率是困难的。 由此，我们引入了不基于模型的预测方法，也即蒙特卡罗方法（MC），蒙特卡罗方法的特征是采样，那么什么是样本（sample）？我们定义智能体从某一个状态开始，到某一个...
强化学习基础：n步时序差分预测与应用
在强化学习中，n步时序差分(n-step TD)方法是一种介于单步TD学习和蒙特卡洛方法之间的算法。它结合了一步更新的即时性和蒙特卡洛方法对完整轨迹的利用。在单步TD中，状态价值仅基于当前状态到下一个状态的转移进行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值