Q-learning学习

最新推荐文章于 2023-12-11 11:28:23 发布
最新推荐文章于 2023-12-11 11:28:23 发布
阅读量136 收藏
点赞数
分类专栏： 深度学习 文章标签： paddlepaddle
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43475628/article/details/120148705
版权

1. Sarsa（On-policy）

用下一步一定会执行的action来更新优化Q表格，整个网络就只存在一种策略，（即用同一种策略去选取action，优化Q表格）

在这里插入图片描述
红圈处，的Q（S‘，A‘）。里边用到的是下一步一定会执行的ACTION。

2.Q-learning（Off-policy）

两种策略，一种是目标策略（不管下一步的action），一种是行为策略（探索环境）
在这里插入图片描述
主要就是红线处的（经验）。
在这里插入图片描述
红圈处，用来更新Q表格的参数，不管下一步的动作具体是什么。默认就是取的最大值。
具体对比：
在这里插入图片描述

沿途有李
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
q-learning精讲
weixin_41697507的博客
02-07 1万+
Q-learning Q-learning是一种用于机器学习的强化学习技术。 Q-learning的目标是学习一种策略，告诉Agent在什么情况下要采取什么行动。 它不需要环境模型，可以处理随机转换和奖励的问题，而无需进行调整。 对于任何有限马尔可夫决策过程（FMDP），Q学习找到一种最优的策略，即从当前状态开始，它在任何和所有后续步骤中最大化总奖励的预期值。在给定无限探索时间和部分随机策略的情况...
Q学习（Q-Learning）
最新发布
guojunwu1977的博客
03-11 1035
Q学习是一种强化学习算法，用于指导代理（Agent）在给定环境中如何采取最优行动。它通过学习状态中的行动价值来实现，属于从与环境的交互中学习，通过尝试和错误，以实现目标的机器学习算法。：Q学习的主要目标是学习一个策略，告诉代理在什么情况下采取什么行动。它不需要环境的模型（使其成为一种无模型方法），并且能够处理具有随机转移和奖励的问题，无需调整。：Q学习的核心是Q值函数，记为Q(s,a)。：一旦Q值被充分学习，可以通过为每个状态选择最高Q值的行动来派生策略。：代理在一系列的事件中与环境交互。
【强化学习】Q-Learning算法求解悬崖行走问题 + Python代码实战
热门推荐
知不足而奋进，望远山而前行
10-20 2万+
下面仅对Q-Learning算法对简单介绍Q学习是一种异策略（off-policy）算法。目标策略（target policy）和行为策略（behavior policy）。目标策略就是我们需要去学习的策略，相当于后方指挥的军师，它不需要直接与环境进行交互行为策略是探索环境的策略，负责与环境交互，然后将采集的轨迹数据送给目标策略进行学习，而且为送给目标策略的数据中不需要at+1a_{t+1}at+1​，而Sarsa是要有at+1a_{t+1}at+1​的。
深度强化学习-基于价值的强化学习-TD算法和Q学习（三）
weixin_46737548的博客
04-10 1736
本文主要介绍TD算法和Q学习算法
神秘的【Q*项目】强化学习算法： Q学习：用于学习最佳行动策略。 深度Q网络（DQN）：结合深度学习和强化学习。
chenhao0568的专栏
12-11 1576
强化学习是一种机器学习方法，它使得智能体（agent）能够在环境中通过试错来学习如何达成目标。在强化学习中，智能体根据其观察到的环境状态，选择行动，然后接收环境给出的奖励或惩罚。智能体的目标是最大化其长期获得的总奖励。 Q学习是一种无模型的强化学习算法，它不需要环境的先验知识。它的核心是Q函数，也称为动作价值函数，用于估计在给定状态下采取特定动作的期望效用。Q函数：Q函数Q(s, a)代表在状态s下采取动作a所能获得的预期回报。Q学习的目标是学习一个策略，使得对于每个状态s，选择能最大化Q值的动作。更新规则
Q-learning原理及其实现方法
zhf的博客
11-25 2万+
Q_learning原理及其实现方法声明简介Q_learning算法Q_learning算法流程 声明 学习博客快乐的强化学习1——Q_Learning及其实现方法，加之自己的理解写成，同时欢迎大家访问原博客 简介 Q-Learning是一种 value-based 算法，即通过判断每一步 action 的 value来进行下一步的动作，以人物的左右移动为例，Q-Learning的核心Q-Tabl...
Q-Learning学习随笔
CodingW的博客
08-08 430
Q-Learning题外话Q-learning要素Q-Learning目标Q矩阵的学习过程代码 题外话 在开始学习的一瞬间，微信收到消息，发小在教高中物理的受力分析。突然想到个问题：若竖直上抛一个物体，该物体到达最高点时是否受到空气阻力。在查过空气阻力计算公式之后发现其数值与速度的平方成正比，和摩擦力有运动趋势就存在不同，空气阻力必须要有相对运动才行唉。 Q-learning要素 agent ：...
Q-learning
Hocarina的博客
09-24 366
引用：莫凡https://morvanzhou.github.io/tutorials/machine-learning/reinforcement-learning/2-1-A-q-learning/#%E8%A1%8C%E4%B8%BA%E5%87%86%E5%88%99 每次更新我们都用到了 Q 现实和 Q 估计, 而且 Q learning 的迷人之处就是 在 Q(s1, a...
Q-Learning.zip
01-21
Q-Learning是强化学习（Reinforcement Learning, RL）领域的一种重要算法，它属于无模型学习，即不依赖于环境的动态模型。在RL中，智能体与环境交互，通过不断尝试不同的动作来学习最大化长期奖励的策略。Q-Learning...
Q-learning_Q-learning_
10-01
Q-learning是一种强化学习中的模型-free方法，它允许智能体通过与环境的交互来学习最佳策略，而无需知道环境的具体动态模型。在这个简单的寻径实例中，我们将会深入了解Q-learning的工作原理及其应用。 Q-learning...
Q-learning_q-learningmatlab_联合开发_路径规划_三维路径规划_q学习
09-11
可以进行二维到三维的基于强化学习的路径规划
Q-learning_Q-learning_Q-Learningpython_DEMO_
10-01
Q-learning是一种强化学习中的核心算法，它属于值迭代方法的一种，旨在通过与环境的交互学习一个最优策略。在这个"Q-learning_Q-learning_Q-Learningpython_DEMO_"的项目中，我们将会探讨Q-learning的基本原理，以及...
通过Q-learning深入理解强化学习
02-24
本文来自于csdn，本文将带你学习经典强化学习算法Q-learning的相关知识，你将学到：（1）Q-learning的概念解释和算法详解；（2）通过Numpy实现Q-learning。故事案例：骑士和公主假设你是一名骑士，并且你需要拯救...
遗传算法与Q-Learning学习笔记
05-09
【遗传算法】是一种模拟生物进化过程的优化算法，主要用于解决复杂问题的全局寻优。它通过模拟生物界的遗传、突变和自然选择等机制来逐步演化解决方案。在遗传算法中，一组解决方案被称为“种群”，其中每个解决方案...
（三）表格型方法
gls_nuaa的博客
03-30 512
当看到这一章名字的时候，应该首先考虑到三个问题： 1）这里的表格指的是什么？ 2）表格型方法是用来解决什么问题的？ 3）表格型方法中具体有哪些方法？ 随着后面的介绍，将陆续解开神秘的面纱。 前面已经介绍了马尔可夫决策过程，可以使用<S,A,P,R>这个四元组表示。而且从马尔可夫决策过程中，我们推导出了贝尔曼期望方程。之前也介绍过有模型和免模型的概念，区别在于是否已知状态转移和奖励函数。大多数情况最开始是没有和现实世界有接触的，所以我们更加关注于免模型，后面的讨论都是基于免模型展开。 在上一章介绍
强化学习之Q-learning与Sarsa算法解决悬崖寻路问题
Ton的博客
12-05 6033
之前有写过利用Q-learning算法去解决-> 一维二维探宝游戏：https://blog.csdn.net/MR_kdcon/article/details/109612413 有风格子寻路游戏：https://blog.csdn.net/MR_kdcon/article/details/110600819 理论与实践都证明：Q-learning对于解决状态有限、离散的RL任务有着不错的收敛效果。Q-learning是off-policy算法，意思是其行为策略与目标策略是独立的，根据这个特点
强化学习算法Q-learning学习
TCCCLY的博客
08-23 1328
Q-learning算法学习
Q-Learning
Explore_OuO的博客
04-07 686
Agent在探索中寻找最优策略的过程包括两部分： 它在面对State的时候选择哪个Action去行动(选择的依据跟价值函数有关)，这叫做行为策略。 如何使用新得到的经验去更新价值函数，这叫做优化策略(注意这是个名词)。 Q-Learning使用 ε\varepsilonε-贪婪法作为行为策略，使用贪婪法作为优化策略来更新Q表。 Q-Learning算法概述 Q-Learning算法的拓扑图如下，白色远点表示状态，黑色圆点表示状态-行为对(即在状态下执行动作) 如上图，先基于状态StS_tSt​，用 ε
强化学习（七）时序差分离线控制算法Q-Learning
wenyusuran的专栏
07-31 1197
　在强化学习（六）时序差分在线控制算法SARSA中我们讨论了时序差分的在线控制算法SARSA，而另一类时序差分的离线控制算法还没有讨论，因此本文我们关注于时序差分离线控制算法，主要是经典的Q-Learning算法。 　　　　Q-Learning这一篇对应Sutton书的第六章部分和UCL强化学习课程的第五讲部分。 1. Q-Learning算法的引入　　　　 　　　　Q-Learning算法...
Zap Q-Learning：优化的Q学习算法，快速收敛与教程
本文《Fastest Convergence for Q-Learning》聚焦于强化学习领域内的一个重要进展，特别是针对Q-learning算法的优化。Q-learning是强化学习中的一种经典策略学习方法，它通过估计动作值函数来指导智能体在环境中做出...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值