【RL】--Q-learning与Sarsa原理以及区别

最新推荐文章于 2024-03-15 15:09:43 发布
最新推荐文章于 2024-03-15 15:09:43 发布
阅读量849 收藏 1
点赞数 1
分类专栏： RL 文章标签： Q-learning sarsa 区别
原文链接：https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/
版权

Q-learning

在这里插入图片描述
在这里插入图片描述
上一状态是在S1；现在的状态S2
上一状态所采取的行动a2;现在将要采取的行动a2
Q-learning是通过本状态（S2）所对应Q表中的最大值maxQ(S2)来更新在上一状态（S1）时所采取的行动Q(s1,a2)的值
通俗一点的解释一下：
也就是当我到达S2之后，S2的下一步也是确定的，即maxQ(S2)，然后利用maxQ(S2)更新Q(s1,a2)

Sarsa

在这里插入图片描述
在这里插入图片描述
Sasra是通过在本状态（S2）将要采取的行动（上图中将要采取的行动是a2，在实际中不一定是a2，这取决于e-greed）来更新在上一状态（S1）时所采取的行动Q(s1,a2)的值
通俗一点的解释一下：
也就是当我到达S2之后，S2的下一步并不是确定的，S2的下一步行动需要再进行一次e-greed，然后利用将要采取的行动更新Q(s1,a2)

区别

上面的介绍其实已经给出了区别，在更新的过程中，Q-learning是直接根据Q表选max（Si），也就是说在这一步Q-learning是完全基于价值的（即e-greed=1）。而Sasra需要根据e-greed来确定是基于价值还是基于概率。

Q-learning只用到了一次e-greed

  • 在上一状态S选择行动时

Sasra用到了两次e-greed

  • 在上一状态S选择行动时

  • 在当前状态S_更新上一状态S所采取的行动a时

当e-greed=1时，两者的效果是一样的，都是基于价值的。
Q-learning可以看成Sasra的一种特例，即e-greed=1

代码中的区别

上面介绍完了伪代码的区别，现在说一下在代码中的区别，相同的地方就不说了。
为了更容易看清两者的区别，代码以截图的形式给出，
源代码请搜：莫烦强化学习
在这里插入图片描述
在这里插入图片描述
S_的代表S的下一状态

在Q-learning中只需要传入S的下一状态S_，然后取最大值。
在Sasra中需要传入S的下一状态S_，以及下一状态所采取的行动a_

xgyyxs
关注
专栏目录
一文搞懂sarsa和Q-Learning的区别
我是香菜
01-03 1053
一文搞懂sarsa和Q-Learning的区别
RL 笔记 从 Q-learning 、Sarsa 到 DQN
weixin_43146899的博客
03-01 946
RL 笔记 从 Q-learning 、Sarsa 到 DQN Q-Learning Q-Learning 是一个强化学习中一个很经典的算法，就是用一张表存储在各个状态下执行各种动作能够带来的 reward，如下表表示了有两个状态 s1,s2 每个状态下有两个动作 a1,a2 表格里面的值表示在对应状态下采取动作之后的 reward - a1 a2 s1 -1 2 s2 -5 2 这个表示实际上就叫做 Q-Table，里面的每个值定义为 Q(s,a) 表示在状态 s下执行动作 a
SARSA 和 Q-learning 的区别
The Blog Of Uncle_Sugar
04-10 3003
下面这张图截取自书上的，SARSA算法是在线算法，Q-learn是离线算法。两者的第一步选择动作都是epsilon-greedy,而第二部更新Q函数的时候，Q-learning 直接选择用最优的动作a去更新Q函数，而SARSA选择用之前的策略采样出来的A‘去更新Q函数。 这就是为什么叫SARSA在线算法，因为更新策略用的A’和上一步的A都是由一个policy 产生的。 而Q-learning中...
SARSA与Q-learning的区别
ZONGXP的博客
09-13 1万+
莫烦强化学习视频 https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/
Q-learning和Sarsa的区别
qq_26826331的博客
04-12 313
因此对于SARSA来说 1.在状态s’时，就知道了要采取哪个a’，并真的采取了这个动作。 2.动作a的选取遵循e-greedy策略，目标Q值的计算也是根据（e-greedy）策略得到的动作a’计算得来，因此为on-policy学习。 （选择下个动作的存在探索的可能性） 而对于Q-learning来说 1, 只会选择使得下个状态Q值最大的下个动作。 2. Q learning 机器人 永远都会选择...
Qlearning和Sarsa的区别到底是什么？为什么说Qlearning勇敢而Sarsa胆小谨慎？
铃灵狗的水墨书乡
04-03 1571
先啰嗦两句 最近在看Qlearning和Sarsa的机器强化学习算法，两个都看了之后突然很蒙，昨天差不多有一整天吧，一直被标题这两个问题所困扰着，在这里记录下自己的心得，以及希望给和我一样有过困扰或者正在有困扰的同学做出令人满意的回答。 再啰嗦两句 本文将会一语道破似的讲出以上两个问题的答案，伴随着少量解析，如果对以上这两个算法存在其他疑惑或者不是很了解的同学，这里给出两个链接，希望对大家有所帮助...
强化学习（一）--Sarsa与Q-learning算法
qq_37333048的博客
03-15 2280
强化学习（一）--Sarsa与Q-learning算法1. SARSA算法2. Q-learning算法3. 代码实现3.1主函数3.2训练及测试函数3.3 SarsaAgent类的实现3.3.1 sample函数3.3.2 predict函数3.3.3 learn函数3.4 Q-learning算法的改变 最近实验室有一个项目要用到强化学习，在这开个新坑来记录下强化学习的学习过程。 第一节就先来最简单的基于表格型的RL算法，包括经典的Sarsa和Q-learning算法。 由于时间原因，关于算法的理论知识
迷宫求解器——Q-Learning和SARSA算法：在本项目中，我们通过Q-Learning和SARSA算法模拟了两个代理，并将它们置于交互式迷宫环境中以训练最佳策略-matlab开发
05-29
在这个项目中，我们在MATLAB实时编辑器环境中模拟了交互式迷宫环境，并实现了两种经典的Rl（强化学习）算法-Q学习和sarsa算法。 通过创建一个在迷宫中交互移动的代理，可以使用两种算法来训练最高激励值奖励和最佳...
Q-Learning 、Sarsa与 DQN算法
XiaoFengsen的博客
07-23 3717
主要介绍了Q-Learning 算法与 DQN 算法的原理与异同点
Qlearning和Sarsa的区别
tandembike的博客
07-02 792
强化学习
强化学习——Qlearning和Sarsa的区别
Abo_luo的博客
08-28 1903
强化学习——Qlearning和Sarsa的区别前言Qlearning算法简单示例Sarsa算法简单示例总结 主要是讲述一下自己学习Qlearning和Sarsa的感悟 前言 自从北京学习回到成都，一个暑假虽然”书本上“的知识没有学到什么，但是确实让身为本科生的自己眼界开阔了很多，也更加的明确了自己的目标。强化学习这一个领域之前也是仅仅知识了解大概的算法流程，知其然，不知其所以然。直到现在我也觉得其和遗传学习很相似，难道他们之间是包含与被包含的关系？（需要再继续学习才能去了解了） 本篇口水话主要是讲述一
Q-learning与Sarsa算法的区别
热门推荐
qq_39004117的博客
08-15 1万+
接触reinforcement learning有一个月的时间了，现在回来回顾当时写的Q-learning和Sarsa算法，有了更多的感触。 对于Q-learning算法和Sarsa算法的具体流程，原文已经讲解的很详细，附上参考博客地址: https://blog.csdn.net/u010223750/article/details/78955807 本文就记录一下Q-learning和S...
强化学习中的Q-learning算法和Sarsa算法的区别
生命不息，Coding不止
06-27 7677
欢迎点击参观我的 ——> 个人学习网站 Q-learning 算法描述： Sarsa 算法描述： 假设我们的 Q(s, a) 是一个 Q table ，如下图所示，该表格表示共有三个 state (状态)： s1s1s_{1} 、s2s2s_{2}、s3s3s_{3} ,每个状态都有三个可选 action (动作) ：a1a1a_{1}、a2a2a_{2}、a3a...
Q-learning与Sarsa算法与区别 小学生都看得懂系列
qq278937623的博客
04-11 528
请先看https://blog.csdn.net/u010223750/article/details/78955807这文章大概了解一下 本文只是补充更仔细的代码实际运行过程，以彻底了解和区分Q-learning与Sarsa的算法与区别 代码https://github.com/nuomizai/Qlearning 正文: 已知从0.0开始，走入1.0----10.0 奖励为-100，其它每步为-1，终点11.0奖励为0 所有初始动作值都为0 假设已知0.1向右的动作值为-0.5 假设已知1.1向下的动
时间差分方法Q-learning和sarsa的区别
qq_27514521的博客
07-21 2825
Q-learning和sarsa都是利用时间差分目标来更新当前行为值函数的。唯一不同的是在Q-learning中,行动策略(产生数据的策略)和要评估的策略不是一个策略，因此称之为异策略(off-policy),而在sarsa中，正好相反，也就是行动策略(产生数据的策略)和要评估的策略是一个策略，称之为同策略(on-policy)。下面从算法的角度解释其中的区别。 如上图所示，为sarsa的算...
强化学习中SARSA（State-Action-Reward-State-Action）和Q-learning的区别
最新发布
艽野尘梦的博客
03-15 968
SARSA（State-Action-Reward-State-Action）和Q-learning是两种经典的强化学习算法，它们都用于学习最优策略以使智能体在一个环境中获得最大的累积奖励。总的来说，SARSA和Q-learning都是强化学习算法的经典代表，它们在更新方式和适用情况上有所不同，选择哪种算法取决于具体的问题和应用场景。SARSA 和 Q-learning 在更新策略时的一个重要区别在于它们是同策略（on-policy）和异策略（off-policy）学习算法。
sarsa算法和qlearning算法的不同之处的详细深入探讨(集百家所论)
chen的博客
10-11 1469
SARSA（State-Action-Reward-State-Action）算法和Q-learning（Quality-learning）算法都是强化学习中的常见算法，用于训练智能代理在环境中学习并制定最佳策略。它们有一些关键的不同之处：总之，SARSA和Q-learning都是强化学习中有用的算法，但它们在更新时刻、策略选择、收敛性和稳定性等方面存在不同。选择使用哪个算法通常取决于具体的问题和需求。
强化学习中Sarsa与Q-learning的区别
yf_programmer的博客
10-08 5893
最近在学习强化学习，Sarsa和Q-learning作为强化学习中较为经典的的方法，两者之间有一定的相似之处，但又有较大的区别，能够很好的区分两种方法对区分on-policy和off-policy，以及之后对强化学习的进一步学习都很有帮助。 先介绍Sarsa和Q-learning共用的探索策略，再说明Sarsa和Q-learning的区别，最后拓展到on-policy和off-policy的区别。 ε-greedy Sarsa和Q-learning在探索时都是用到了ε-greedy的策略。在训练过程中我们既
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值