强化学习第一步：Q_learning 算法，Q现实与Q估计分不清楚？我来说说我的理解

最新推荐文章于 2024-05-30 09:00:17 发布
最新推荐文章于 2024-05-30 09:00:17 发布
阅读量1.8k 收藏 9
点赞数 5
分类专栏： # 强化学习 文章标签： 深度学习 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42573052/article/details/115605410
版权

Q_learning 算法，Q现实与Q估计分不清楚

Q_learning 算法的一些简介

是一种与模型无关的强化学习算法，直接优化一个可迭代计算的Q函数。其他的算法思想很多博客都有写过，在此我就不再赘述啦，值得注意的是他是一种离线学习（off-policy）

公式

他所利用的公式呢主要有：

  1. 贝尔曼方程 ：在这里Bellman方程实际上就是价值动作函数的转换关系（我就不推到啦）
  2. 时间差分法 ；时间差分法也就是 Q的更新函数
    间差分方法结合了蒙特卡罗的采样方法和动态规划方法的bootstrapping(利用后继状态的值函数估计当前值函数)使得他可以适用于model-free的算法并且是单步更新，速度更快。值函数计算方式如下：
    在这里插入图片描述

这就是TD目标，对应是Q函数中的Q现实，在这里插入图片描述，而整个括号里面的就是是 TD偏差。

Q现实与Q估计

我们先来看看Q_learning的更新函数：
在这里插入图片描述
当智能体执行一步后从状态S1转移至S2，他会根据 Q表判断在S2执行下一步中最大的奖励再乘以一个衰减值，那么这一部分加上当前奖励r，为什么就是S1的Q现实奖励了呢？

其实这类似于一个循环，因为想要知道S1的奖励，我们按这种思想又要知道S2的最大奖励乘以衰减值，那么想要知道S2的奖励，我们按这种思想又要知道S3的最大奖励乘以衰减值等等等等
这就是教程中出现的一个公式的由来
在这里插入图片描述
所以从长远看，在这里插入图片描述就是实际获得的实实在在奖励，而Q(s,a)只是在执行某步后对未来奖励的猜测

————————————————

霍迪迪
关注
  • 5
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
第二章：Qlearning算法详解
程序员光剑
05-05 71
1. 背景介绍 强化学习（Reinforcement Learning，RL）作为机器学习的一个重要分支，近年来发展迅猛。其核心思想是让智能体（agent）通过与环境的交互，不断学习并优化自身的决策策略，从而获得最大的累积奖励。Q-learning算法作为一种经典的基于值的强化学习算法，因其简单易懂、易于实现且效果显著等优点，被广泛应用于机器人控制、
深度 Qlearning：神经网络与强化学习的结合
最新发布
程序员光剑
06-23 735
1. 背景介绍 深度强化学习是机器学习的一个重要领域，它将深度学习和强化学习相结合，使智能体能够在复杂的环境中学习并做出最优决策。深度 Q-learning 是深度强化学习中的一种重要算法，它通过使用神经网络来逼近 Q 函数，从而实现对强化学习问题的求解。在这篇文章中，我们将深入探讨深度 Q-learning 的原理、实现和应用。
强化学习之Q_learing和sarsa
RosebudTT的博客
05-14 296
一.原理展示 对比算法可知，Q_Learning在到达状态s`后， 首先查询Q表，得到使该状态s`条件下Q值最大的动作a`，根据Q(s`, a`)计算Q现实， 随后，通过Q现实和Q估计更新Q表 在下一步执行过程中，该动作a`未必被选择 Sarsa在到达状态s`后，根据贪心策略，选择动作a`,根据Q(s`, a`)计算Q现实， 随后，通过Q现实和Q估计更新Q表 在下一步执行过程中，该动作a`需要被执行 二.Q learing代码 三.Sarsa代码 import numpy as ..
Q-Learning中的Q值为何会被过估计？（即Double-DQN解决了什么问题）
Passenger54621465的博客
07-08 1451
由图（1），在马尔科夫决策过程中： 由公式（1）和公式（2），可以简写成v(s) = E[q(s, a)]，q(s, a) = E[r + v(s’)]，合并得到v(s) = E[r + v(s’)]和q(s, a) = E[r + E[q(s’, a’)]]，即q值的更新是根据下个状态q值的均值来更新的，并不是通过下个状态最大的q值来更新的。 再来看Q-Learning更新Q值的公式： 对于一个3x3大小的地图，Q表格的维度是9x4，即9个状态，每个状态又有4个Q值，共36个Q值。Q-Lear.
Conservative Q-Learning(CQL)保守Q学习(一)-CQL1(下界Q值估计)
lvoutongyi的博客
03-25 1326
本文介绍非常有用的C-Q Learning算法，有助于解决Q值低估的问题，本文讲介绍2020年NIPS上的文章 是一篇兼具理论和实际应用的好文章。由于CQL原文内容符号比较混乱，并且在公式推导和符号定义上存在一些小错误。笔者进行了仔细阅读和分析，在此做出一些自己语言的总结理解和重述，给予和笔者一样的读者和研究者进行参考和帮助，希望可以和大家一起讨论和学习。、
强化学习之深度Q函数
StepLeave的博客
06-28 1万+
背景：强化学习之深度Q函数
强化学习之Deep Q Network的理解
mengdeer_Q的博客
02-25 259
对Deep Q learning进行初步介绍和理解，若不正确还请指正
强化学习：Q-learning与DQN（Deep Q Network）
Leon_winter的博客
06-05 8591
文章目录Q-learningDQNexperience replayfix Q type   Q-learning是一种很常用的强化学习方法，DQN则是Q-learning和神经网络的结合。 Q-learning   首先要设计状态空间s，动作空间a，以及reward。 一次transition就是（s，a，w，s_） 一次episode就是 DQN Q-learning如果状态很多，动作很多时，需要建立的q表也会十分的庞大，因此 神经网络就是用来算动作的q-value的 为了帮助收敛 experience
通俗易懂谈强化学习之Q-Learning算法实战
热门推荐
Datawhale
12-12 1万+
Datawhale干货作者：知乎King James，伦敦国王大学知乎 ｜https://www.zhihu.com/people/xu-xiu-jian-33前言：上篇介绍了什么是...
Q-Learning 简介：初学者教程（1）
gongdiwudu的专栏
05-30 2862
强化学习强调无模型学习算法，因此出现Q-Learning，Q-Learning算法酷似“有限状态自动机”模型，只是增加了奖励机制和Agent机制，而Agent与粒子群算法、蒙特卡洛算法是有关的。本文介绍这个算法框架。
深度强化学习--Deep Q Network(using tensorflow)
qq_52654678的博客
12-16 1976
强化学习之Q-learning
mengdeer_Q的博客
02-24 903
以一个例子简单介绍了Q-learing的方法
强化学习笔记（四）DDQN 附代码
qq_40208154的博客
11-06 3941
源代码：点击直达 下面是DQN算法计算Q现实的方法，可以看到，计算下一状态的Q值时，永远选取得是最大值，这样会导致该模型过估计，即估计值过高（本来预测的Q值就有误差，加上max操作后，就把误差扩大了）。 Double DQN就是解决这个问题的，可以看到，他计算Q值时，不是直接选取最大值，而是将估计神经网计算的下一状态的Q值的最大值行为作为现实神经网的行为，从而计算Q值。 因此，DDQN和DQN主要的区别只是在计算Q现实时！ 首先，DQN只需要2个Q值，DDQN需要3个Q值，分别为Q(St+1 , a ;
DQN基本概念和算法流程（附Pytorch代码）
ningmengzhihe的博客
04-14 9819
DQN，Deep Q Network本质上还是Q learning算法，它的算法精髓还是让Q估计​尽可能接近Q现实​，或者说是让当前状态下预测的Q值跟基于过去经验的Q值尽可能接近。在后面的介绍中Q现实​也被称为TD Target相比于Q Table形式，DQN算法用神经网络学习Q值，我们可以理解为神经网络是一种估计方法，神经网络本身不是DQN的精髓，神经网络可以设计成MLP也可以设计成CNN等等，DQN的巧妙之处在于两个网络、经验回放等trick。
Q-Learning 算法学习心得
qq907177955的博客
05-13 1577
1 Q-learning算法是智能体（agent）通过与环境进行不停的交互，并从环境中得到行为反馈，最终生成一个状态-行为的奖励表（Q table）。而我们的智能体（agent），根据这个q table来进行决策，完成人类交给她的各种任务的。 例如：一个agent为O，在一个二维的直线上，从左边移动到右边的目标点T处，即完成任务。 O_________________T 对于以上的例子，O有从起始点到终点T这条线段长度状态（Status s），并且每个状态有左（left）、右（right）两种行
强化学习Q-learning简单理解
qq_44812718的博客
04-12 3023
强化学习Q-learning简单理解
强化学习：DQN的理解
BBJG_001的博客
03-16 2784
原文地址 分类目录——强化学习 还是根据Q(s, a)值来进行动作判断的一种机制 传统的Q-Learning强化学习会生成一个状态动作的组合表，通过一轮轮的迭代使这个表格收敛。 **问题：**现实中的活动往往状态空间很大，比如下围棋，理论上Q表的矩阵要达到（19**2）*（19**2）的规模，存储这么一个表格是一个问题，学习并让这个表格收敛更是一个大问题。 ——如果能有一个公式能通过输入当前的状...
Q-learning
weixin_30920091的博客
01-01 893
强化学习基本介绍 强化学习是一种不同于监督学习和无监督学习的在线学习技术,基本模型图一所示。它把学习看作是一个“试探一评价”的过程,首先学习系统称为智能体感知环境状态,采取某一个动作作用于环境,环境接受该动作后状态发生变化,同时给出一个回报奖励或惩罚反馈给强化学习系统,强化学系统根据强化信号和环境的当前状态再选择下一个动作,选择的原则是使受到再励的概率增大。 智能体在和环境交互时,在每一时...
Q-Learning整体算法
vmxhc1314的博客
08-22 992
伪代码如下： Initialize Q(s,a) arbitrarily Repeat (for each episode):     Initialize s     Repeat (for each step of episode):         Choose a from s using policy derived from Q (e.g.,-greedy)        ...
qlearning算法matlab
09-19
Q-learning算法是一种强化学习算法，用于求解马尔可夫决策过程（MDP）中的最优策略。它通过学习一个动作值函数（Q函数），来使智能体在环境中选择最优的行动。 在Matlab中实现Q-learning算法的步骤如下： 1. 初始化Q函数：创建一个大小为（状态数，动作数）的矩阵Q，并将其初始化为0或者随机值。 2. 设置环境和智能体的初始状态。 3. 选择行动：根据当前状态和Q函数，选择一个行动。可以使用ε-greedy策略，在一定概率下选择探索行动，而在剩下的概率下选择利用已知的最优行动。 4. 执行行动并观察奖励和下一个状态。 5. 更新Q函数：使用Q-learning更新公式，将当前状态行动对的Q值进行更新。公式为：Q(state, action) = Q(state, action) + learning_rate * (reward + discount_factor * max(Q(next_state, :)) - Q(state, action)) 6. 将下一个状态变为当前状态，重复第3-5步，直到达到终止状态。 7. 重复多次以上步骤，直到Q函数收敛。 在步骤5中，学习速率（learning_rate）和折扣因子（discount_factor）是Q-learning算法中的两个重要参数。学习速率控制了每次更新Q值时，新旧值之间的权重；折扣因子则决定了对未来奖励的重视程度，如果折扣因子接近1，则对未来奖励更加看重。 通过上述步骤，我们可以在Matlab中实现Q-learning算法，并通过迭代多次优化Q函数，得到最优的行动策略。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值