Q-learning和Sarsa的区别

最新推荐文章于 2023-10-11 15:30:09 发布
最新推荐文章于 2023-10-11 15:30:09 发布
阅读量256 收藏
点赞数
原文链接：http://www.cnblogs.com/hellojiaojiao/p/11353118.html
版权
Q-learning和Sarsa的区别

Q-learning是off-policy，而Sarsa是on-policy学习。

Q-learning在更新Q table时，它只会需要Q值最大，但是不一定会选择使这个Q值最大的动作，因为选择哪个动作是由其他的策略决定的，但是Sarsa在更新Q table时，不一定是Q最大的那个，而且接下来会选择此Q对应的action。Q-learning属于勇敢型，无论前方的路上有什么危险，它都会直接走过去，而Sarsa比较保守，一般只是会远远的躲过危险。

posted on 2019-08-14 16:56  你好啊渔夫 阅读( ...) 评论( ...) 编辑 收藏

转载于:https://www.cnblogs.com/hellojiaojiao/p/11353118.html

weixin_30518397
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
时间差分方法Q-learning和sarsa的区别
qq_27514521的博客
07-21 2801
Q-learning和sarsa都是利用时间差分目标来更新当前行为值函数的。唯一不同的是在Q-learning中,行动策略(产生数据的策略)和要评估的策略不是一个策略，因此称之为异策略(off-policy),而在sarsa中，正好相反，也就是行动策略(产生数据的策略)和要评估的策略是一个策略，称之为同策略(on-policy)。下面从算法的角度解释其中的区别。 如上图所示，为sarsa的算...
SARSA与Q-learning的区别
ZONGXP的博客
09-13 1万+
莫烦强化学习视频 https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/
强化学习中Sarsa与Q-learning的区别
yf_programmer的博客
10-08 5733
最近在学习强化学习，Sarsa和Q-learning作为强化学习中较为经典的的方法，两者之间有一定的相似之处，但又有较大的区别，能够很好的区分两种方法对区分on-policy和off-policy，以及之后对强化学习的进一步学习都很有帮助。 先介绍Sarsa和Q-learning共用的探索策略，再说明Sarsa和Q-learning的区别，最后拓展到on-policy和off-policy的区别。 ε-greedy Sarsa和Q-learning在探索时都是用到了ε-greedy的策略。在训练过程中我们既
Qlearning和Sarsa的区别
tandembike的博客
07-02 768
强化学习
迷宫求解器——Q-Learning和SARSA算法：在本项目中，我们通过Q-Learning和SARSA算法模拟了两个代理，并将它们置于交互式迷宫环境中以训练最佳策略-matlab开发
05-29
在这个项目中，我们在MATLAB实时编辑器环境中模拟了交互式迷宫环境，并实现了两种经典的Rl（强化学习）算法-Q学习和sarsa算法。 通过创建一个在迷宫中交互移动的代理，可以使用两种算法来训练最高激励值奖励和最佳...
Chapter 6 (Temporal Difference Learning).rar_Q-learning_SARSA Q-
07-14
Q-learning和SARSA之间的主要区别在于： 1. 更新规则：Q-learning更新Q值基于最大Q值，而SARSA使用实际体验的动作。 2. 策略选择：Q-learning是离策略的，意味着它可以在学习过程中探索不同的策略；SARSA是随策略的...
基于Pytorch实现深度强化学习各种算法python源码+算法介绍(DQN、Q-Learning、Sarsa等14种).zip
12-15
基于Pytorch实现深度强化学习各种算法python源码+算法介绍(DQN、Q-Learning、Sarsa等14种).zip基于Pytorch实现深度强化学习各种算法python源码+算法介绍(DQN、Q-Learning、Sarsa等14种).zip 基于Pytorch实现深度强化...
Deep-Q-Learning-Deep-SARSA-LunarLander-v2:将深度强化学习算法Deep SARSA和Deep Q-Learning应用于OpenAI Gym的LunarLander-v2
03-19
深度SARSA和深度Q学习-LunarLander-v2 环境 在这个项目中，我试图从OpenAI体育馆解决Lunar Lander环境。这是一个二维环境，其目的是教导登月舱模块安全地着陆在固定在点（0,0）的着陆垫上。该代理具有3个推进器：一...
分别基于Q-learning、sarsa、蒙特卡洛(强化学习)解决二维世界问题python源码+详细注释.zip
最新发布
12-29
分别基于Q-learning、sarsa、蒙特卡洛(强化学习)解决二维世界问题python源码+详细注释.zip分别基于Q-learning、sarsa、蒙特卡洛(强化学习)解决二维世界问题python源码+详细注释.zip分别基于Q-learning、sarsa、...
sarsa算法和qlearning算法的不同之处的详细深入探讨(集百家所论)
chen的博客
10-11 1096
SARSA（State-Action-Reward-State-Action）算法和Q-learning（Quality-learning）算法都是强化学习中的常见算法，用于训练智能代理在环境中学习并制定最佳策略。它们有一些关键的不同之处：总之，SARSA和Q-learning都是强化学习中有用的算法，但它们在更新时刻、策略选择、收敛性和稳定性等方面存在不同。选择使用哪个算法通常取决于具体的问题和需求。
强化学习——Qlearning和Sarsa的区别
Abo_luo的博客
08-28 1771
强化学习——Qlearning和Sarsa的区别前言Qlearning算法简单示例Sarsa算法简单示例总结 主要是讲述一下自己学习Qlearning和Sarsa的感悟 前言 自从北京学习回到成都，一个暑假虽然”书本上“的知识没有学到什么，但是确实让身为本科生的自己眼界开阔了很多，也更加的明确了自己的目标。强化学习这一个领域之前也是仅仅知识了解大概的算法流程，知其然，不知其所以然。直到现在我也觉得其和遗传学习很相似，难道他们之间是包含与被包含的关系？（需要再继续学习才能去了解了） 本篇口水话主要是讲述一
Q-learning与Sarsa算法的区别
热门推荐
qq_39004117的博客
08-15 1万+
接触reinforcement learning有一个月的时间了，现在回来回顾当时写的Q-learning和Sarsa算法，有了更多的感触。 对于Q-learning算法和Sarsa算法的具体流程，原文已经讲解的很详细，附上参考博客地址: https://blog.csdn.net/u010223750/article/details/78955807 本文就记录一下Q-learning和S...
一文搞懂sarsa和Q-Learning的区别
我是香菜
01-03 1019
一文搞懂sarsa和Q-Learning的区别
Q-learning与Sarsa算法与区别 小学生都看得懂系列
qq278937623的博客
04-11 513
请先看https://blog.csdn.net/u010223750/article/details/78955807这文章大概了解一下 本文只是补充更仔细的代码实际运行过程，以彻底了解和区分Q-learning与Sarsa的算法与区别 代码https://github.com/nuomizai/Qlearning 正文: 已知从0.0开始，走入1.0----10.0 奖励为-100，其它每步为-1，终点11.0奖励为0 所有初始动作值都为0 假设已知0.1向右的动作值为-0.5 假设已知1.1向下的动
sarsa和q-learning区别
fly_boss的博客
08-23 551
sarsa是on policy q-learning是off policy  区别在于更新Q值的时候，直接使用了最大的Q(st+1,a)，相当于采用了Q(st+1,a)值最大的动作，即与t时刻a动作所采用的policy无关 ...
Sarsa和q-learning的区别
Louie_worth的博客
03-11 320
今天看到一道强化学习面试题目，才知道即使自己学了这么多理论，但是肯定是学的倒懂不懂的状态，记录以下。 文章目录伪代码介绍主要区别区别详解图解 伪代码介绍 Q-learning: off policy Sarsa: on policy 主要区别 Q-learning: off policy, Sarsa: on policy 其实主要区别是他们两个更新Q_table的方式： Q-Learning: Q(St,At)←Q(St,At)+α[Rt+1+γmax⁡aQ(St+1,a)−Q(St,At)] .
【RL】--Q-learning与Sarsa原理以及区别
xgyyxs的博客
10-29 829
Q-learning 上一状态是在S1；现在的状态S2 上一状态所采取的行动a2;现在将要采取的行动a2 Q-learning是通过本状态（S2）所对应Q表中的最大值maxQ(S2)来更新在上一状态（S1）时所采取的行动Q(s1,a2)的值 通俗一点的解释一下： 也就是当我到达S2之后，S2的下一步也是确定的，即maxQ(S2)，然后利用maxQ(S2)更新Q(s1,a2) Sarsa S...
Qlearning和Sarsa的区别到底是什么？为什么说Qlearning勇敢而Sarsa胆小谨慎？
铃灵狗的水墨书乡
04-03 1542
先啰嗦两句 最近在看Qlearning和Sarsa的机器强化学习算法，两个都看了之后突然很蒙，昨天差不多有一整天吧，一直被标题这两个问题所困扰着，在这里记录下自己的心得，以及希望给和我一样有过困扰或者正在有困扰的同学做出令人满意的回答。 再啰嗦两句 本文将会一语道破似的讲出以上两个问题的答案，伴随着少量解析，如果对以上这两个算法存在其他疑惑或者不是很了解的同学，这里给出两个链接，希望对大家有所帮助...
Q-learning和SARSA是时序差分强化学习还是蒙特卡洛强化学习
07-20
Q-learning和SARSA都属于时序差分强化学习方法，而不是蒙特卡洛强化学习方法。 时序差分强化学习是一种结合了动态规划和蒙特卡洛方法的强化学习方法。它通过使用经验数据进行增量式的更新，同时利用了当前和未来的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值