Q-Learning

最新推荐文章于 2024-05-30 09:00:17 发布
最新推荐文章于 2024-05-30 09:00:17 发布
阅读量357 收藏
点赞数
分类专栏： machine-learning 文章标签： Reinforcement Learning
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014297722/article/details/81872954
版权

Q-Learning
off-policy

1.公式解读
https://www.zhihu.com/question/26408259
2.公式=>矩阵示例
房间最优路径问题
https://blog.csdn.net/lwb102063/article/details/52734861
http://mnemstudio.org/path-finding-q-learning-tutorial.htm

注意点:
1.QL的完整公式以及简化公式 核心都在于计算当前的Q
Q=动作效用,agent brain
Q(S,A) 位置S使用执行动作A的策略

2.两个可调参数
α越大之前训练的效果越弱(越加难以收敛？？)
γ越小 越加greedy,只重视眼前reward
(1-α为学习速率)*Q(S,a) +
α * {Reward是奖励矩阵 + γ折扣因子 * Q(S’,a)是下一步的最大收益}

3.随机+greedy
不完全按照最优解选择策略 = 避免局部最优+探索更多可能

结论:
Q-learning可以学习到全局最优,但是收敛缓慢

这里写图片描述

cuixuange
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Q-Learning算法 Matlab代码实现
11-28
一个简单的Q-Learning算法的综合示例，可以在Matlab仿真平台上实现。
Q-Learning.zip
01-21
Q-Learning是强化学习（Reinforcement Learning, RL）领域的一种重要算法，它属于无模型学习，即不依赖于环境的动态模型。在RL中，智能体与环境交互，通过不断尝试不同的动作来学习最大化长期奖励的策略。Q-Learning...
Q learning
bossWww的博客
03-27 433
今天继续写RL的exercise2，发现Q learning一直不收敛。本来就是个很简单的算法，改了好久都不知道fault在哪里，一开始以为是超参数调的不好，结果调了好久的参数都不行。后来发现自己犯了个错误： target = reward + int(done) * self.gamma * max_action_q new_estimate = old_estimate + self.alpha * (target - old_estimate) 注意这里，不应该是int(done)，int(n
Q-Learning 简介：初学者教程（1）
最新发布
gongdiwudu的专栏
05-30 1462
强化学习强调无模型学习算法，因此出现Q-Learning，Q-Learning算法酷似“有限状态自动机”模型，只是增加了奖励机制和Agent机制，而Agent与粒子群算法、蒙特卡洛算法是有关的。本文介绍这个算法框架。
【机器学习】Q-Learning详细介绍
qq_43774332的博客
06-07 9662
Q-learning 是一种机器学习方法，它使模型能够通过采取正确的操作来迭代学习和改进。 Q-learning属于强化学习的算法
Q-learning
weixin_37410657的博客
05-04 898
Q-learning是强化学习中的一种重要算法，它通过与环境的交互学习到一个最优策略，使得累积奖励最大化。Q-learning算法不需要事先知道环境的状态转移概率和奖励函数，因此适用于许多实际问题。需要注意的是，Q-learning算法需要在探索和利用之间进行权衡，以便更好地发现最优策略。此外，Q-learning算法的收敛性和性能受到学习率、折扣因子、ε-贪婪策略等超参数的影响，因此在实际应用中需要对这些超参数进行调优。
Q-Learning 原理干货讲解
weixin_45266856的博客
06-28 1019
强化学习基于环境的反馈而行动，通过不断与环境的交互、试错，最终完成特定目的或者使得行动收益最大化。强化学习不需要训练数据，但是它需要每一步行动环境给予的反馈，是奖励还是惩罚，反馈可以量化，基于反馈不断调整训练对象的行为。
Q-learning_Q-learning_Q-Learningpython_DEMO_
10-01
在这个"Q-learning_Q-learning_Q-Learningpython_DEMO_"的项目中，我们将会探讨Q-learning的基本原理，以及如何用Python实现一个简单的DEMO。 首先，Q-learning的核心思想是构建一个Q表，它存储了在每个状态(s)执行...
Q-learning_Q-learning_
10-01
Q-learning是一种强化学习中的模型-free方法，它允许智能体通过与环境的交互来学习最佳策略，而无需知道环境的具体动态模型。在这个简单的寻径实例中，我们将会深入了解Q-learning的工作原理及其应用。 Q-learning...
经典Q-learning代码-迷宫
01-21
Q-learning是一种强化学习算法，是基于贝尔曼最优方程的迭代方法，用于寻找一个智能体在给定环境中的最优策略。在这个案例中，我们将探讨如何使用MATLAB实现Q-learning来解决一个迷宫问题。 首先，我们需要理解迷宫...
Q-learning代码
01-11
这是Q-learning算法的一个计算Q值表格的小代码，可以看出Q-table是如何更新的。
强化学习（Q-learning）
dzcera的博客
01-22 3万+
强化学习RF简介 强化学习是机器学习中的一种重要类型，一个其中特工通过 执行操作并查看查询查询结果来学习如何在环境中表现行为。 机器学习算法可以分为3种：有监督学习（Supervised Learning）、无监督学习（Unsupervised Learning）和强化学习（Reinforcement Learning），如下图所示： 有监督学习、无监督学习、强化学习具有不同的特点： 有监督学习是有一个label（标记）的，这个label告诉算法什么样的输入对应着什么样的输出，常见的算法是分类、回归等；
【强化学习】Q-Learning算法详解
热门推荐
shura的技术空间
06-19 28万+
QLearning是强化学习算法中值迭代的算法，Q即为Q（s,a）就是在某一时刻的 s 状态下(s∈S)，采取 a (a∈A)动作能够获得收益的期望，环境会根据agent的动作反馈相应的回报reward r，所以算法的主要思想就是将State与Action构建成一张Q-table来存储Q值，然后根据Q值来选取动作获得较大的收益。
Q_learning简介与实例
GeniusXYT的博客
11-11 2507
1、算法思想 QLearning是强化学习算法中value-based的算法，Q即为在某一环境下，Q（state,action）在某一时刻的 s 状态下(s∈S)，采取 动作a (a∈A)动作能够获得收益的期望，环境会根据agent的动作反馈相应的回报reward r(分数)。 所以算法的主要思想就是将State与Action构建成一张Q-table来存储Q值，然后根据Q值来选取能够获得最大的收益...
Q-Learning（强化学习）｜机器学习
二哥为啥不像程序员？
06-08 2093
强化学习 什么是强化学习？ 我们在之前接触过了监督学习和无监督学习，强化学习可以看作是不同于二者的另一类算法，强化学习让计算机从什么都不懂的时刻开始，通过不断地尝试，从错误中学习，找到一种规律，能够掌握达到目的的方法。 强化学习的思想就类似于我们去训练一只狗，一开始它听不懂任何我们下达的指示，但是我们可以在每次说出指令并且它做出正确动作的时候，都给它一定的奖励，否则没有奖励，让它知道对错，最终每次都能够直接作出可以得到奖励的动作（正确的反应）。 与训练动物不同的是，我们所要训练的是计算机并不是一个活体，但是
RL的Q Learning原理及简单算例
dela1024的博客
12-02 2000
1. Q-learning简述 Q-learning是一种强化学习算法。强化学习指的是让计算机在什么都不懂的情况下，通过不断的和环境进行互动得到反馈，来改善自身的行动策略，最终找到规律并达到学习目的的方法。 所以强化学习的过程只涉及两个对象，一个是智能体agent，它可以发出行动action，接受反馈并评估；另一个是环境environment，它是agent行动的前提，并能对agent的行动做出反馈。 Q-learning的核心在于，它有一个记录着不同状态下采取行动所对应价值的表，即Q table。随着不断
强化学习（RL）QLearning算法详解
qq_41626059的博客
03-04 1万+
这篇文章将要介绍传统的qlearning算法，使用的是迭代的方法更新q表，更新q表的方法类似于向前推进，而不是使用梯度下降方法，因为这里介绍的不是Deep QLearning方法。 一、算法介绍以及推导 注：这里更新的不是agent，而是一个q表，q表里面记录的是agent在某个状态采取某个的动作的好坏，q表可以起到间接决定agent采取什么决策。q表就类似一个critic，一个评论家，来指导agent。 1.1、Q(s,a)Q(s,a)Q(s,a)是什么？ Q(s,a)Q(s,a)Q(s,a)是状态动作价
强化学习之Q-learning简介
YoungGy的专栏
06-20 5万+
强化学习在alphago中大放异彩，本文将简要介绍强化学习的一种q-learning。先从最简单的q-table下手，然后针对state过多的问题引入q-network，最后通过两个例子加深对q-learning的理解。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值