强化学习笔记（二）Model-free control with MC/TD（SARSA、Q-learning）

最新推荐文章于 2024-06-20 18:23:56 发布
最新推荐文章于 2024-06-20 18:23:56 发布
阅读量404 收藏 1
点赞数 1
分类专栏： 强化学习 文章标签： python 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LuoMin2523/article/details/117997004
版权

目录

 定理1 MC control 收敛定理

定理2  SARSA 算法收敛定理

定理3 Q-learning 收敛理论

问题1: 新策略是随机的还是确定的？我们可以使用新策略计算得到的Q值去产生新的轨迹吗？

问题2:SARSA与Q-learning的区别？

问题3: on policy与off policy的区别？

 问题4:Both SARSA and Q-learning may update their policy after every step，正确还是错误？

问题5 : 策略控制MC算法的理解

 问题6: Maximization Bias Proof / Q值的最大化偏差估计

问题7:为什么Double Q-Learning能对状态-动作值产生无偏估计？

问题8：Q-Learning与Double Q-Learning的区别？

 定理1 MC control 收敛定理

 当MC control 满足GLIE条件的时候，就保证了该算法的收敛性。

定理2  SARSA 算法收敛定理

定理3 Q-learning 收敛理论

 

问题1: 新策略是随机的还是确定的？我们可以使用新策略计算得到的Q值去产生新的轨迹吗？

答：确定的，不可以。

问题2:SARSA与Q-learning的区别？

答：选择动作的更新策略不同，如下图所示：

 从下面这道例题可以清楚的区别：

 运用SARSA算法，得出的结果为2.5

最低0.47元/天 解锁文章
唠叨小主
关注
专栏目录
什么是 Q-learning
aliceyangxi1987的博客
09-15 2442
我们以一个迷宫寻宝的游戏为例来看什么是 Q-learning。 在这个游戏中，agent 从一个给定的位置开始，即起始状态。 在不穿越迷宫墙壁的前提下，在每个状态时，都可以选择上下左右四个方向走一步，或者原地不动， 上下左右这四个动作的每一个都会将 agent 带到网格的一个新的单元格，即新的状态， 在迷宫中有一个网格处有宝箱，这个网格就是目标状态， 此外，在某些网格处还有一些炸弹， ...
【强化学习RL】model-free的prediction和control — MC, TD(λ), SARSA, Q-learning等
终极冥帝
01-28 648
本系列强化学习内容来源自对David Silver课程的学习 课程链接http://www0.cs.ucl.ac.uk/staff/D.Silver/web/Teaching.html 　　在上一文介绍了RL基础概念和MDP后，本文介绍了在model-free情况下（即不知道回报Rs和状态转移矩阵Pss'），如何进行prediction，即预测当前policy的state-value f...
[机器学习算法] Q学习
最新发布
藓类少女的博客
06-20 1184
Q学习（Q-Learning）是一种基于值的强化学习算法，用于在给定状态下选择动作，以最大化累积奖励。它通过不断更新一个称为Q表（Q-table）的表来学习动作的价值。
论文翻译 —— Model Free Episodic Control
佚失的诗篇
07-08 435
标题：Model Free Episodic Control 文章链接：Model Free Episodic Control 代码实现：sudeepraja Model-Free-Episodic-Control 提出方法：MFEC (Model Free Episodic Control) 领域：强化学习-情节控制 注：方括号为原文中参考文献引用，具体引用文章请下载原文查看 ...
Q学习（Q-Learning）
guojunwu1977的博客
03-11 1201
Q学习是一种强化学习算法，用于指导代理（Agent）在给定环境中如何采取最优行动。它通过学习状态中的行动价值来实现，属于从与环境的交互中学习，通过尝试和错误，以实现目标的机器学习算法。：Q学习的主要目标是学习一个策略，告诉代理在什么情况下采取什么行动。它不需要环境的模型（使其成为一种无模型方法），并且能够处理具有随机转移和奖励的问题，无需调整。：Q学习的核心是Q值函数，记为Q(s,a)。：一旦Q值被充分学习，可以通过为每个状态选择最高Q值的行动来派生策略。：代理在一系列的事件中与环境交互。
强化学习笔记(4)无模型控制Model-Free Control(On-policy learning, off-policy learning, GLIE, Sarsa, Q-learning)
01-07
greedyϵ−greedyGLIE定理：GLIE Monte-Carlo Control定理TD ControlSarsa​算法描述定理缺点：Sarsa(λ)Sarsa(\lambda)Sarsa(λ)n-step Sarsan-step Q-return （n步Q收获）定义n-step Sarsa 通
Deep-Q-Learning-Deep-SARSA-LunarLander-v2:将深度强化学习算法Deep SARSA和Deep Q-Learning应用于OpenAI Gym的LunarLander-v2
03-19
深度SARSA和深度Q学习-LunarLander-v2 环境 在这个项目中，我试图从OpenAI体育馆解决Lunar Lander环境。这是一个二维环境，其目的是教导登月舱模块安全地着陆在固定在点（0,0）的着陆垫上。该代理具有3个推进器：一...
基于Pytorch实现深度强化学习各种算法python源码+算法介绍(DQN、Q-Learning、Sarsa等14种).zip
12-15
基于Pytorch实现深度强化学习各种算法python源码+算法介绍(DQN、Q-Learning、Sarsa等14种).zip基于Pytorch实现深度强化学习各种算法python源码+算法介绍(DQN、Q-Learning、Sarsa等14种).zip 基于Pytorch实现深度强化...
Chapter 6 (Temporal Difference Learning).rar_Q-learning_SARSA Q-
07-14
本章重点介绍了两种常见的强化学习算法：Q-learning和SARSA。这两种算法都基于Temporal Difference（TD）学习，即它们在当前估计的值函数和未来预期的值函数之间进行学习，从而逐步更新策略。 Q-learning是一种离...
Q学习算法（Q-learning）
04-18
讲述Q学习算法基本原理，并通过几个小例子初步了解q学习算法应用。
Q学习，matlab
04-18
Q学习，很有帮助.jie shao le Q-learning de ji ben shiyong
Q学习，MATLAB程序 以及相关PDF文件
01-15
利用MATLAB写的Q学习的程序，同时附件包含Q学习在交通控制中的应用，希望能帮到相关人员
Q-learning
qq_25475917的博客
07-25 206
Q-learning是一种基于Q表的强化学习方法，单步更新。 因为Q现实的计算是采用S2的MAXQ的方式，但是真的走到S2的时候并不一定走MAXQ的action，所以是off-policy的算法。 下面的图是说明在S1状态的时候，有a1和a2两种动作可以选择。根据Q表的数据，可知在S1状态走a1的Q值为-2，走a2的Q值为1。 根据下面的图可知，当在S1状态的时候，已经决策为走a2的情况下，可以计算出Q（s1,a2）现实为S2的奖励加上衰减率乘S2中Q值最大的动作的Reward。 下面是具体的计
探索强化学习的奇妙世界：Q学习（Q-Learning）
DeepViewInsight的博客
09-17 4582
Q学习是一种强化学习算法，用于解决智能体（agent）在与环境互动的过程中学习如何做出决策以获得最大的累积奖励。它属于无模型（model-free）强化学习方法的一种，这意味着Q学习不需要事先了解环境的具体模型，只需通过与环境的交互来学习。Q学习的目标是学习一个Q值函数，通常简称为Q表（Q-table），其中包含了在每个状态下采取每个动作所获得的期望累积奖励。这个Q表使得智能体可以在每个状态下选择最佳的动作，从而最大化长期奖励。
Q学习（Q learning） 强化学习
phymat.nico的专栏
10-13 1415
Q学习（Q learning） 强化学习的简单例子 Matlab实现 可视化_Morty 的挖坑记录-CSDN博客 强化学习（MATLAB） - 叮叮当当sunny - 博客园
【强化学习】QLearning
李宁宁
09-26 4871
强化学习之Q Learning 标签： ReinforcementLearning QLearning 代码：https://github.com/gutouyu/ReinforcementLearning/tree/master1. 算法思想Q指的是状态动作效益。智能体Agent，每个时刻都有一个状态State， 在该状态下，它可以采取一系列动作中的一个动作Action。Q就是指在状态State下
Q-learning和SARSA是时序差分强化学习还是蒙特卡洛强化学习
07-20
Q-learning和SARSA都属于时序差分强化学习方法，而不是蒙特卡洛强化学习方法。 时序差分强化学习是一种结合了动态规划和蒙特卡洛方法的强化学习方法。它通过使用经验数据进行增量式的更新，同时利用了当前和未来的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值