强化学习（二）——Q learning、Sarsa、Deep Q learning三种算法思想

最新推荐文章于 2024-05-30 07:30:00 发布
最新推荐文章于 2024-05-30 07:30:00 发布
阅读量1.7k 收藏 22
点赞数 2
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/colourgxk/article/details/89493256
版权
一、Q learning算法 如上图所示，Q learning的决策值（基于值的一种算法）存储在一张Q table中。可以先设定a1的奖励值为-2，a2的奖励值为1，那么在s1状态下我们选择奖励值大的动作a2，这就是上图中的Q（S1，a2)估计，接下来状态变为s2。 更新思想：但是Q table中的决策值只是我们先假定的决策值，这不是最优的。因此需要每走一步就更新一次（...
摘要由CSDN通过智能技术生成

一、Q learning算法

     如上图所示，Q learning的决策值（基于值的一种算法）存储在一张Q table中。可以先设定a1的奖励值为-2，a2的奖励值为1，那么在s1状态下我们选择奖励值大的动作a2，这就是上图中的Q（S1，a2)估计，接下来状态变为s2。

     更新思想：但是Q table中的决策值只是我们先假定的决策值，这不是最优的。因此需要每走一步就更新一次（单步更新）。如何进行更新呢？借助上图中Q（S1，a2)现实的表达式，这里Q（S1，a2)现实之所以称作现实，我理解的是：表格中s1状态下的两个行为a1和a2的奖励值，并不是我们真正获取的奖励值，而是预期获取的奖励值。因为选择了a2动作后到达s2，不仅获得了即时的奖励值R，而且还有一个s2状态对未来期望的reward值，那么不难理解其称作现实。根据Q（S1，a2)现实和Q（S1，a2)估计的差值对原来的Q（S1，a2)决策值进行更新。

</

最低0.47元/天 解锁文章
colourgxk
关注
  • 2
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
机器学习之Grid World的Deep SARSA算法解析
小小程序猿
08-22 2660
Github上某开源项目的Deep SARSA算法实现代码地址： https://github.com/rlcode/reinforcement-learning/tree/a497d719e3ecdd254e6620cf4f4b9afb0524b099/1-grid-world/6-deep-sarsaDeep SARSADeep SARSA算法是基于SARSA算法的，不同之处在于SARSA算法
强化学习之六：Deep Q-Network and Beyond
MapleStory的博客
02-09 2494
本文是对Arthur Juliani在Medium平台发布的强化学习系列教程的个人中文翻译，该翻译是基于个人分享知识的目的进行的，欢迎交流！（This article is my personal translation for the tutorial written and posted by Arthur Juliani on Medium.com. And my work is compl...
Deep-Q-Learning-Deep-SARSA-LunarLander-v2:将深度强化学习算法Deep SARSA和Deep Q-Learning应用于OpenAI Gym的LunarLander-v2
03-19
深度SARSA和深度Q学习-LunarLander-v2 环境 在这个项目中，我试图从OpenAI体育馆解决Lunar Lander环境。这是一个二维环境，其目的是教导登月舱模块安全地着陆在固定在点（0,0）的着陆垫上。该代理具有3个推进器：一个在模块的底部，另一个在模块的每一侧。因此，代理人在每个时间步长都有4种可能的动作可供选择：发射每个推进器或什么也不做。给予坐席的奖励取决于许多因素：发射底部推进器会产生-0.3的奖励，而发射侧面推进器会产生-0.03的奖励。如果探员安全地降落在着陆垫上，将获得+100分的奖励，此外，与地面接触的模块的每条腿都将获得+10分的奖励。当代理程序着陆或崩溃时，已达到终端状态。为了检测终端状态，可以提取一个状态向量，该状态向量指示代理的位置，其当前速度和环境着陆标志，以指示腿是否与地面接触。还可以提取代表环境中代理图片的RGB阵列。最后，要解决此问题并确定
Q学习（Q-Learning）
最新发布
weixin_43156294的博客
05-30 1019
Q学习（Q-Learning）是一种强化学习算法，它属于无模型预测算法，用于解决马尔可夫决策过程（MDP）问题。Q学习算法的核心思想是通过学习一个动作价值函数（Q函数），来评估在给定状态下采取某个动作的期望效用。
实验三 强化学习实验
唐源棕的博客
12-30 7637
实验环境选择与搭建 实验环境选择 linux + python 环境搭建 python-pip和python-dev安装 sudo apt-get install python-pip python-dev Tensorflow安装 sudo pip install --upgrade https://storage.googleapis.com/tensor
【EasyRL学习笔记】第三章 表格型方法（Q-Table、Sarsa、Q-Learning）
知不足而奋进，望远山而前行
10-20 2万+
（1）在每个回合中，如果在时间步 ttt 状态 sss 被访问了，那么（2）状态 sss 的价值可以通过回报的平均来估计，即 V(s)=S(s)/N(s)V(s)=S(s) / N(s)V(s)=S(s)/N(s) 。根据大数定律，只要我们得到足够多的轨迹，就可以趋近这个策略对应的价值函数。当 N(s)→∞N(s) \rightarrow \inftyN(s)→∞ 时， V(s)→Vπ(s)V(s) \rightarrow V_\pi(s)V(s)→Vπ​(s) 。μt=1t∑j−1txj=1t(xt+∑j
Q学习.zip_Q-learning_Q_learning_Q学习 动作_Reinforcement_stayqyh
07-15
**Q学习（Q-Learning）**是一种经典的强化学习（Reinforcement Learning, RL）算法，由Richard Sutton在1988年提出。强化学习是一种机器学习的方法，它侧重于智能体如何通过与环境的交互来学习最佳策略。在这个过程...
莫烦强化学习相关代码（Q-learning等）.zip
08-06
Q-learning是强化学习中的一种离策略、模型自由的学习算法，其核心思想是构建一个Q表，用于存储每个状态(s)和动作(a)对的Q值，Q值表示在当前状态下执行某个动作并遵循最优策略后的期望累积奖励。 Q-learning的关键...
基于强化学习Q-Learning方法实现机器人走迷宫源码.zip
04-27
此外，还可以扩展到其他强化学习算法，比如SARSA、Deep Q-Network (DQN)等，对比它们在解决迷宫问题上的表现和优缺点。 总之，这个项目提供了一个实践强化学习算法的实例，帮助我们理解Q-Learning的工作原理，并...
pytorch实现的在线强化学习11种常见算法代码
02-01
这个资源是一个包含了使用 PyTorch 实现的11种常见在线强化学习算法的代码集合。每个算法都有独立的文件夹，可以单独运行并测试相应算法在不同环境中的性能。以下是资源中包含的算法： 1、Q-learning 2、SARSA 3、...
基于不完全信息随机博弈与Q-learning的防御决策方法
01-14
针对现有随机博弈大多以完全信息假设为前提，且与网络攻防实际不符的问题，将防御者对攻击者收益的不确定性转化为对攻击者类型的不确定性，构建不完全信息随机博弈模型。针对网络状态转移概率难以确定，导致无法确定求解均衡所需参数的问题，将Q-learning引入随机博弈中，使防御者在攻防对抗中通过学习得到的相关参数求解贝叶斯纳什均衡。在此基础上，设计了能够在线学习的防御决策算法。仿真实验验证了所提方法的有效性。
强化学习和 Q-Learning
sikh_0529的博客
09-20 1万+
在你的上方是一枚硬币。这种策略可能仍然会导致代理返回到它已经探索过的位置，但是，正如您从下面的代码中看到的那样，它会导致到所需位置的平均路径非常短（请记住，一开始，当 Q-Table 值都相同时，它对应于随机选择，但随着我们对环境的了解更多，我们更有可能遵循最优路径，同时允许智能体选择未探索的路径偶尔。请注意，我们将 Q-Table 的所有值初始化为相等的值，在我们的示例中为 0.25。现在我们需要运行模拟，探索我们的环境，并学习更好的 Q-Table 值分布，这将使我们能够更快地找到通往苹果的路径。
Sarsa 与 Q learning对比
zchang81的博客
08-31 7021
Sarsa 与 Q learning对比
深度学习中sarsa算法和Q-learning算法的区别
zhaoying9105的博客
06-12 9129
sarsa 和 Q-learning都是时序差分下对动作价值函数优化的单步方法，算法基本上一样，只有一点： 为了更新St的动作价值函数，需要St+1的动作价值函数，St+1具体是什么St+1是由上个episode决定了，但是St+1对应的action由什么决定呢？sarsa的处理方式是episinon + greedy，和St选择aciton采取的方法是一样的，称为 on-policy； Q-l
神经网络与强化学习
qq446293528的博客
12-17 8725
一、DQN的神经网络是怎样一种结构？有几层？什么作用？如何实现数据的记忆？如何做一些改进 （一）问题描述： qu1. 问题复杂度提高导致无法使用Q表记录全部状态： 1. 对状态的维度进行压缩，解决方案之一Value Function Approximation（值函数近似）， 用w来表示函数f的参数，则有 2. 高维s和低维a的函数输入问题，低...
深度强化学习(DRL)
慢慢的博客
08-16 4583
DRL形成背景 深度强化学习（Deep Reinforcement Learning）顾名思义，是深度学习与强化学习的结合，因此深度强化学习弥补了DL和RL的不足之处。 深度学习最近火热，大家也都有所了解，就是通过多层网络和非线性变换，去学习数据的分布式特征表示，因此深度学习侧重于对事物的感知和表达。 而强化学习，了解的同学都知道，通过奖惩机制去挖掘最优策略，因此它侧重于学习解决问题的策略。 因此由于深度学习特征感知能力强却缺乏决策能力，引入了深度强化学习这个概念。 强化学习 要了解深度强化学习，首先要
【深度学习】DQN的经验回放（Experience Reply）和目标网络（Target Network）
ngc_1277
11-13 1万+
前言 对于Q-learning算法，有两点不足之处： 维度灾难；这是由于查找表存储和更新Q值时需要在离散状态空间开始强化学习，当状态的数量增大，这一问题将愈发难解； 有关状态空间离散化的粒度；较低的粒度将使得Q-learning泛化能力较弱，高粒度又将可能导致状态数量呈指数增长。 DQN应运而生，采用深度神经网络为非线性函数逼近，以表示高维连续状态空间中的Q值函数。， θ即参数化的神经网络。...
强化学习（二）：Q learning 算法
热门推荐
zhm2229的专栏
08-13 2万+
强化学习（一）：基础知识 强化学习（二）：Q learning算法 Q learning 算法是一种value-based的强化学习算法，Q是quality的缩写，Q函数 Q(state，action)表示在状态state下执行动作action的quality， 也就是能获得的Q value是多少。算法的目标是最大化Q值，通过在状态state下所有可能的动作中选择最好的动作来达到最大化期望re...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值