RL强化学习总结（三）——Q-Learning算法

已于 2022-08-06 17:32:58 修改
阅读量798 收藏 3
点赞数 2
分类专栏： 强化学习 文章标签： 人工智能 机器学习 深度学习
于 2022-08-06 11:32:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Elon15/article/details/126191266
版权

Q-Learning

举例子

在这里插入图片描述

问题描述

如上图所示，有0、1、2、3、4、5总共6个状态。规定5状态为咋们的目标状态（到达5状态表示胜利）
可以画状态转移图，如右侧图片所示，表明了其他每个状态到达5状态的路径！！！

设置奖励值

为了更好的到达5状态，我们可以通过设置不同路径的奖励值，“鼓励”agent从其他状态更好的到达5状态
也就是，能到达5状态的路径（可以将路径理解为行为），我们设置高的奖励值。不能到达5状态的路径（行为）设置较低的奖励值！

绘制奖励矩阵

在这里插入图片描述
其中行数代表：State，列数代表：Action，其实这里列数可以理解为下一个状态。
如果能从现在状态转移到下一个状态，在对应行列位置填上转移的奖励。以第一行举例：0状态可以到达4状态，上面规定的奖励值为0，所以将0值填入0行4列。0状态转移不到0、1、2、3、5状态，所以对应的0行0、1、2、3、5列填入-1即可，-1表示没有办法转到。

Q-Learning算法

在这里插入图片描述

根据Q-Learning算法执行计算

Step 1

折扣因子定为0.8
R价值矩阵如下图
在这里插入图片描述

Step 2

在这里插入图片描述

Step 3

3.1 选定初始状态为S1
3.2
（1）和（2）下一个状态为5状态
在这里插入图片描述
（3）和（4）
在这里插入图片描述
因为已经到了状态5，到达了最终的状态，所以一个episode完成了。

利用Q-Learning不断计算

这次我们选定状态3为初始状态
在这里插入图片描述
这次episode之后，可以填充Q矩阵的一个位置。之后我们不断使用Q-Learning算法，完善整个Q矩阵。
在这里插入图片描述
经过不断训练之后，Q矩阵收敛，如上图所示。因为左边的Q矩阵里面数值太大也参差不齐，所以我们使用归一化，将左侧Q矩阵中的数值范围归一化为右侧Q矩阵。

根据最终的Q矩阵，我们绘制状态转移图，如下图所示。
在这里插入图片描述
假设起点为2，终点为5。
我们根据最终的Q矩阵，我们可以确定最佳路线为（2->3->1>5）

Q-Learning算法总结

个人总结：
（1）首先确定折扣因子和R矩阵。
（2）初始化Q矩阵为0矩阵
（3）根据下面方程：在这里插入图片描述
不断选定状态，完成每个episode之后，去填充Q矩阵。然后对Q矩阵进行归一化处理，确定最终的Q矩阵！
Q矩阵是整个算法的核心！！！！
（4）面对问题，根据Q矩阵，绘制状态转移图，确定最佳的方案（保证Q值最大）
Q值可以理解成考试分数！！！

时代&信念
关注
  • 2
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
8. 图解Q-learning与深度强化学习DQN
weixin_40614311的博客
01-28 836
深度Q网络
深度 Qlearning：学习率与折扣因子选择
最新发布
AI大模型应用之禅
06-26 1160
深度 Q-learning：学习率与折扣因子选择 1.背景介绍 深度 Q-learning 是深度强化学习（Deep Reinforcement Learning, DRL）中的一种重要算法，它结合了 Q-learning 和深度神经网络的优势，能够在复杂的环境中进行有效的决
Q-learning算法汇总
lilisad的博客
04-07 255
https://blog.csdn.net/itplus/article/details/9361915经典的六个房间解释算法 http://blog.sina.com.cn/s/blog_151a90a3b0102xg0p.html上面的可复制版本 https://www.jianshu.com/p/29db50000e3f 上面算法的python实现 https://blog.csdn.net...
Q learning小结
m0_46424217的博客
08-18 290
Q  LearningQ\;LearningQLearning 申明 这里是对Q  LearningQ\;LearningQLearning算法的一些总结，主要是基于莫烦python教学视频，以及关于阅读其他博客的总结，所有引用都会加上出处。 伪代码 步骤如下： 1.初始化一个Q(s,a)Q(s,a)Q(s,a)的表格 2.在每个回合都对Q(s,a)Q(s,a)Q(s,a)进行如下更新     从状态0开始     如果未达到
Q Learning学习笔记
qq_42750982的博客
03-28 3910
Q Learning学习
强化学习Q-Learning算法及实现详解
rayylee
10-14 5440
本教程通过一个简单但全面的示例介绍Q-learning的概念。 该示例描述了一个使用无监督学习的过程。 假设我们在一个建筑物中有5个房间，这些房间由门相连，如下图所示。 我们将每个房间编号为0到4。建筑物的外部可以视为一个大房间（5）。 请注意，1号和4号门从5号房间（外部）通向建筑物。 我们可以在图表上表示房间，每个房间作为节点，每个门作为链接。 对于此示例，我们想在任何房间中放置一个门，然后从该房间进入建筑物外（这将是我们的目标房间）。换句话说，目标房间是5号。要将此房间设置为目标，我们会将奖励值关
迷宫求解器——Q-Learning和SARSA算法：在本项目中，我们通过Q-Learning和SARSA算法模拟了两个代理，并将它们置于交互式迷宫环境中以训练最佳策略-matlab开发
05-29
在这个项目中，我们在MATLAB实时编辑器环境中模拟了交互式迷宫环境，并实现了两种经典的Rl（强化学习）算法-Q学习和sarsa算法。 通过创建一个在迷宫中交互移动的代理，可以使用两种算法来训练最高激励值奖励和最佳...
深度强化学习笔记(二)——Q-learning学习与二维寻路demo实现
InkBamboo920的博客
08-07 2287
深度强化学习笔记(二)——Q-learning学习与二维寻路demo实现 文章目录深度强化学习笔记(二)——Q-learning学习与二维寻路demo实现前言理论什么是Q-Learning算法学习率折扣因子初始条件例子代码基础版走迷宫示意图升级版走迷宫示意图完整代码 前言 这几天稍微闲下来，把原来漏的坑给补上，并做了一个Q-Learning的demo，因为Q-leraning的demo,目前我看到比较多的都是莫烦大佬讲的那个一纬寻路的demo，我觉得看起来没有那么有代表性，于是在此基础上，自己修改做了一个二
强化学习之路1——Q-learning
Mr.Feng的博客
07-18 438
Q-learning算法 最近在学强化学习，看了不少的教程，还是觉得莫烦大神的强化学习教程写的不错。所以，特意仔细研究莫烦的RL代码。在这贴上自己的理解。 莫烦RL教程：https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/ 代码：https://github.com/MorvanZhou/Re...
Q学习——Q-learning
04-17
Q学习，作为强化学习（Reinforcement Learning, RL）领域的一种核心算法，是无模型学习策略的典型代表。它的主要目标是让智能体在与环境的交互过程中，通过尝试不同的行动并根据获得的奖励来优化其行为策略，从而...
强化学习：Q-learning与DQN（Deep Q Network）
Leon_winter的博客
06-05 8607
文章目录Q-learningDQNexperience replayfix Q type   Q-learning是一种很常用的强化学习方法，DQN则是Q-learning和神经网络的结合。 Q-learning   首先要设计状态空间s，动作空间a，以及reward。 一次transition就是（s，a，w，s_） 一次episode就是 DQN Q-learning如果状态很多，动作很多时，需要建立的q表也会十分的庞大，因此 神经网络就是用来算动作的q-value的 为了帮助收敛 experience
A Painless Q-learning Tutorial (一个 Q-learning 算法的简明教程)
weixin_30940783的博客
07-18 1022
本文是对http://mnemstudio.org/path-finding-q-learning-tutorial.htm的翻译，共分两部分，第一部分为中文翻译，第二部分为英文原文。翻译时为方便读者理解，有些地方采用了意译的方式，此外，原文中有几处笔误，在翻译时已进行了更正。这篇教程通俗易懂，是一份很不错的学习理解 Q-learning 算法工作原理的材料。 第一部分：...
【机器学习】Q-Learning详细介绍
热门推荐
qq_43774332的博客
06-07 1万+
Q-learning 是一种机器学习方法，它使模型能够通过采取正确的操作来迭代学习和改进。 Q-learning属于强化学习的算法
RL 第一部分——有Qtable的qlearning
onlyyoujojo的博客
01-13 189
我们要和环境互动 我们不知道reward和下一个state 我们只能根据环境的reward来更新自己的Qtable 更新是这样的，我们有很多个回合nEpisodes，每个回合走nSteps步或者到终点为止。 根据 Q'(s,a) <——Q'(s,a) + alpha(r + gamma maxQ'(s', a) - Q'(s,a)) 图片里面的a'应该就是a，我查了很多网上的资料，都是这样的。最后代码跑出来也没错。 核心代码如下。 Q = initialQ.copy()
强化学习(RL)学习笔记（一）MDP，V值，Q值
qq_42715079的博客
06-08 4295
强化学习（RL）学习笔记（一）MDP 本人在研究生阶段选择通过深度强化学习实现自动驾驶作为毕业项目，今后将分享一些在学习强化学习过程中的心得，还请各位大牛多多指教。学习过程中的参考文献及链接将附在每篇文章的结尾。 什么是强化学习 强化学习，就是使我们的智能体Agent获得独立自主的完成某项任务的能力。智能体学习和做出行动的地方，就是我们的环境。这些Agent在于环境互动的过程中，会因为不同的行为产生不同的奖励Reward，在与环境的不断交互中不断改进。 如图，感知-行动-学习循环（perception-ac
【RL】Q-learning走迷宫案例及改进
qq_42292095的博客
11-23 1059
创建迷宫环境 import numpy as np import time import sys import tkinter as tk import random UNIT = 40 # pixels 像素 MAZE_H = 4 # grid height 网格高度 MAZE_W = 4 # grid width 网格宽度 class Maze(tk.Tk, object): # 继承 def __init__(self): super(Maze, self)..
Extreme Q-Learning(EQL)极值Q学习(ICLR 2023 top5%)(一)原理概述
lvoutongyi的博客
04-02 1262
为了跟进RL的最新进展和研究，并寻求高质量文章。本节笔者来介绍 ICLR2023 中得分在top前5%的文章《EXTREME Q-LEARNING: MAXENT RL WITHOUT ENTROPY》原理介绍，并进行了笔记归纳总结。方便各位读者进行学习。原文各位读者可以从Openreview中找到。 同CQL一样，笔者将会从理论与应用两个角度来描述EQL算法，对于想直接应用的读者可以直接跳过理论部分直接查看如何应用。本文的作者最后也给出了EQL和CQL两篇文章之间的联系，希望给各位读者予以启发。 1.预
强化学习笔记：Q-Learning
weixin_45169238的博客
04-08 138
Q-Learning学习笔记
Qlearning算法的优化技术
程序员光剑
04-21 1142
Q-learning算法的优化技术 1.背景介绍 1.1 强化学习概述 强化学习(Reinforcement Learning, RL)是机器学习的一个重要分支,它关注智能体(Agent)如何通过与环境(Environment)的交互来学习并
加速收敛的在线信息强度启发式Q学习算法
本文探讨了一种解决强化学习（Reinforcement Learning, RL）中收敛速度缓慢问题的新型算法——在线更新的信息强度引导的启发式Q学习。该算法在传统的启发式Q学习基础上进行了创新，引入了信息强度的概念，以加速强化...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值