机器学习——Q-Learning

最新推荐文章于 2024-03-19 00:14:29 发布
最新推荐文章于 2024-03-19 00:14:29 发布
阅读量450 收藏 7
点赞数 15
分类专栏： 机器学习 文章标签： 机器学习 深度学习 神经网络 人工智能 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/uncle_ll/article/details/136609694
版权

Outline

在这里插入图片描述

Critic

在这里插入图片描述
在这里插入图片描述

  • 从头往后，逐渐累积
    在这里插入图片描述
  • 新时刻跟前一时刻有关
    在这里插入图片描述
    在这里插入图片描述
  • 不同的方法得到不同的假设，得到不同的结果

Q-function

在这里插入图片描述

  • 在状态s下强制执行a得到对应的奖励
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

目标网络

  • targe一直在变

  • 将其中的一个Q进行固定
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述
    在这里插入图片描述

  • sample a batch

  • udpdate Q-function
    在这里插入图片描述

Tips of Q-learning

Double DQN

在这里插入图片描述

  • Q value往往是被高估的
    在这里插入图片描述
    在这里插入图片描述

Dueling DQN

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

  • 调整超参数N
    在这里插入图片描述
  • 加噪音

Distributional Q-funciton

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 增加一些方法的结果

在这里插入图片描述

  • 从算法集合中减少其中某一个算法后的性能

Q-Learning for Continuous Actions

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 方法1：从连续动作中采样
  • 方法2：基于目标函数使用梯度下降算法求解
  • 方法3：设计网络使得优化变得更加简单
  • 方法4: 不实用Q-learning
uncle_ll
关注
  • 15
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
从零开始的机器学习——k-近邻算法 2018.6.15.zip
04-16
机器学习 (Machine Learning) 是对研究问题进行模型假设，利用计算机从训练数据中学习得到模型参数，并最终对数据进行预测和分析的一门学科。 机器学习的用途 机器学习是一种通用的数据处理技术，其包含了大量...
Matlab代码实现强化学习(Reinforcement Learning) 二维迷宫探索——Q-learning与SARSA对比
玄在天涯的博客
08-24 8536
前一篇文章https://blog.csdn.net/qq_35694280/article/details/106446214介绍了使用Matlab代码如何利用Q-learning或者SARSA在一维空间实现探索，并且训练机器如何自动达到目标。这篇文章在此基础上将一维空间延伸至二维空间，将算法应用到二维空间的探索与训练上，最终实现规划的目标。这篇文章也承接上一篇，通过在二维环境中Q-learning与SARSA的表现来展示二者的区别。 一、问题描述 本文针对的二维环境如图所示 是一个二维网格模型，我们将
进阶阶段（一）——Q-Learning算法
qq_41959920的博客
10-22 1万+
提示：转载清楚出处，若本文无意侵犯到您的合法权益，请及时与作者联系。 进阶阶段（一）——Q-Learning算法 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 一、Q-Learning的更新Q值的公式 在基础阶段我们已经学习了基于模型的动态规划算法，了解了值迭代的概念。Q-Learning的思想就是根据值迭代得到的。但要前面的值迭代每次都对所有状态和动作的Q值更新一遍，这在现实中可行性并不高。Q-Learning只使用有限的样本进行...
机器学习（二十七）——Q-learning, 动态规划
antkillerfarm的专栏
03-19 8398
http://antkillerfarm.github.io/ Q-learning Q-learning是强化学习中很重要的算法，也是最早被引入DL领域的强化学习算法，对它的研究催生了Deep Q-learning Networks。 下面用一个例子来讲述Q-learning算法。 上图中有5个房间，编号为0～4，将户外定义为编号5，房间之间通过门相连，则房间的联通关系可抽象为下图：...
强化学习：Q-learning与DQN（Deep Q Network）
Leon_winter的博客
06-05 7809
文章目录Q-learningDQNexperience replayfix Q type   Q-learning是一种很常用的强化学习方法，DQN则是Q-learning和神经网络的结合。 Q-learning   首先要设计状态空间s，动作空间a，以及reward。 一次transition就是（s，a，w，s_） 一次episode就是 DQN Q-learning如果状态很多，动作很多时，需要建立的q表也会十分的庞大，因此 神经网络就是用来算动作的q-value的 为了帮助收敛 experience
机器学习-Q-Learning-沙鼠走迷宫视频教学
06-09
通过有趣的沙鼠走迷宫游戏，让大家掌握Q-学习算法的实质理论，并且帮助学院去动手写一个让机器思考的程序，理解机器学习。
从零开始的机器学习——k-近邻算法的小应用——颜色学习与识别 2018.6.15.zip
最新发布
04-16
机器学习 (Machine Learning) 是对研究问题进行模型假设，利用计算机从训练数据中学习得到模型参数，并最终对数据进行预测和分析的一门学科。 机器学习的用途 机器学习是一种通用的数据处理技术，其包含了大量...
详解sigmoid与softmax， 多分类及多标签分类
热门推荐
uncle_ll的博客
09-19 5万+
详解sigmoid与softmax， 多分类及多标签分类激活函数介绍sigmoid激活函数sigmoid激活函数的性质sigmoid激活函数的使用 激活函数介绍 对于熟悉机器学习或神经网络的读者来说，sigmoid与softmax两个激活函数并不陌生，但这两个激活函数在逻辑回归中应用，也是面试和笔试会问到的一些内容，掌握好这两个激活函数及其衍生的能力是很基础且重要的，下面为大家介绍下这两类激活函数...
PCA降维算法总结以及matlab实现PCA
uncle_ll的博客
03-09 2万+
http://blog.csdn.net/watkinsong/article/details/8234766 http://blog.csdn.net/mingtian715/article/details/54172281 PCA的一些基本资料 最近因为最人脸表情识别，提取的gabor特征太多了，所以需要用PCA进行对提取的特征进行降维。
二分类确定画出roc曲线，以及基于roc曲线获得最佳划分阈值
uncle_ll的博客
05-25 8620
问题 在做二分类问题时候，有正样本和负样本。构建的算法，针对每个样本会输出一个分数值。假设该分数大小为[0, 1]区间内的值。有时候单纯地以分数0.5位阈值划分样本为预测为1或者预测为0，效果有时候并不好，此时如何确定很好的阈值分数呢？答案是可以利用roc曲线来确定比较好的划分阈值。 ROC曲线介绍 二分类过程，设定阈值，大于该分数为1，小于该分数为0，统计计算TP， FN， FP，TN等数据计算FPR，TPR p(positive): 标签1 n(negative): 标签0 t(true): 预测正
关于数据集划分比例问题
uncle_ll的博客
10-12 7583
问题 图像数据集是训练模型与测试模型必备的，一般而言收集到的数据是整个数据，会将整个数据划分成三个数据集，训练集，验证集以及测试集。 验证和测试的数据要确保特征分布和训练集接近，类别比例也是接近的，这样得到的准确率或者loss才真实。 在做ocr识别模型训练的时候，样本比较大，这时候有点疑惑该如何划分数据集，且数据集中较大比例是自动生成的数据。 方法 一般而言，对于样本量是非常多的数据时候，可以按照7:3～9:1划分数据集。 但是对于几百万或千万级数据量而言，测试集样本不需要太多，只需要划分一定数量的数据
最近邻搜索|Nearest neighbor search
uncle_ll的博客
01-13 4909
维基百科：https://en.wikipedia.org/wiki/Nearest_neighbor_search 觉得整理的挺好，翻译 最近邻搜索( NNS ) 作为**邻近搜索（proximity search）**的一种形式，是在给定集合中找到与给定点最接近（或最相似）的点的优化问题（optimization problem）。相似度通常用不相似函数表示：对象越不相似，函数值越大。 形式上，最近邻（NN）搜索问题定义如下：给定空间M中的一组点S和查询点q ∈ M，找到S 中与q的最近点。唐纳德·.
目标函数(object function),损失函数(loss function)以及代价函数(cost function)之间的关系与区别
uncle_ll的博客
02-18 2656
早先的知识理解是三者代指同一类意思，有些书本上也将其混讲： 今天车上看一个笔记讲解，原来是有差别的： 代价函数：个体 损失函数：整体 目标函数：更泛化的术语 整体来讲： 代价函数是损失函数的一部分，损失函数是目标函数其中的一种； refrence: https://stats.stackexchange.com/questions/179026/objective-function-cost...
机器学习——终身学习
uncle_ll的博客
03-19 2373
大模型的前身——终身学习
机器学习中的过拟合与解决办法
uncle_ll的博客
03-02 1269
什么是过拟合 对于机器学习项目而言，过拟合（overfitting）这个问题一般都会遇到。什么是过拟合呢？ 维基百科： 在统计学中，过拟合现象是指在拟合一个统计模型时，使用过多参数。对比于可获取的数据总量来说，一个荒谬的模型只要足够复杂，是可以完美地适应数据。过拟合一般可以视为违反奥卡姆剃刀原则。当可选择的参数的自由度超过数据所包含信息内容时，这会导致最后（拟合后）模型使用任意的参数，这会减少...
机器学习——神经网络压缩
uncle_ll的博客
03-08 1191
神经网络压缩，以在保证性能的前提下压缩模型大小
机器学习之特征选择
uncle_ll的博客
09-19 1175
在机器学习中，用于选择相关特征（变量、预测变量等）的子集以用于模型构建。这是机器学习项目过程中的重要一步，也是特征工程以减少训练时间。训练时间和特征空间是正相关的。避免维度灾难。使模型更容易。提高泛化能力，减少过拟合。减少共线性并增强可解释性。当得到一个数据集（类似表格的数据）时，每一列都是一个特征，但并不是所有的列都是有用的或相关的。最好花一些时间在特征选择上。使用特征选择技术的中心前提是数据包含一些冗余或不相关的特征，因此可以删除而不会导致大量信息丢失。有很多方法可以进行特征选择。
机器学习——压缩网络作业
uncle_ll的博客
03-17 1113
机器学习之网络压缩作业
matlab q-learning示例
06-28
### 回答1： Matlab是一款广泛应用于科学计算和工程领域的软件，其中包含丰富的工具箱可用于不同领域的数学建模和数据分析。其中之一是强化学习工具箱，提供了用于实现Q-learning算法的示例程序。 Q-learning算法是一种强化学习算法，用于解决机器学习中的控制问题。在Q-learning算法中，智能体通过与环境的交互来学习最佳策略。它的核心思想是估算每一种行动能带来的收益，并通过多次迭代来优化策略。 Matlab强化学习工具箱中的Q-learning示例包含一个简单的点到点导航问题，其中智能体需要在一个二维网格中移动，以找到目标位置。程序中使用了epsilon-greedy策略和贴近最优策略来解决探索和开发之间的权衡问题。通过不断优化策略和更新Q表格，智能体会获得更好的性能。 在实际应用中，Q-learning算法也可以用于复杂的控制问题，如机器人导航和游戏智能体等。Matlab的强化学习工具箱为研究者和工程师提供了便利的工具和实现方式，帮助他们快速构建和解决各种控制问题。 ### 回答2： Q-learning是一种基于策略的强化学习算法，旨在学习如何使智能体在考虑不同动作的情况下最大化奖励。在MATLAB中，用户可以通过实施Q-learning示例来了解如何使用基本MATLAB工具箱和套接字通信库与仿真环境进行交互。 MATLAB的Q-learning示例包括以下步骤： 1.创建仿真环境：用户需要使用MATLAB的Simulink工具箱来创建一个环境，该环境包含智能体将与之交互的状态和动作空间。 2.实施Q-learning算法：使用MATLAB的强化学习工具箱，用户可以实施Q-learning算法，该算法有助于学习如何在环境中最大化奖励。 3.定义奖励函数：用户可以在仿真环境中定义奖励函数，以便在智能体与环境交互时进行奖励。 4.优化动作：根据智能体与环境的交互，用户可以优化智能体的动作，以便增强奖励并增加训练的成功率。 通过实施MATLAB的Q-learning示例，用户可以了解如何使用MATLAB的工具箱和套接字通信库创建仿真环境，实施Q-learning算法，定义奖励函数和优化动作。这种强化学习方法可以帮助用户在许多应用中实现自主决策和控制，如无人驾驶汽车、机器人控制和自动化机器人制造。 ### 回答3： Matlab的Q学习示例是一个可以帮助用户了解Q学习的初步概念的简单示例。Q学习是一种强化学习方法，可以在不需要专家知识的情况下自动学习最优策略来解决各种问题。 这个示例使用了一个简单的迷宫问题来进行演示。其中，用户需要通过编写Matlab代码来实现Q学习算法并将其应用于该问题。 在这个示例中，用户需要定义一个状况空间和一个行动空间，在这个迷宫问题中，状况空间包括了迷宫中的不同位置（如墙角、出口、开头等等）以及目前所处的状态（如目标是否早已达成等等），行动空间则包括了能够进行的动作（如向上或向右等等）。用户还需要设定一些其他参数，如学习步幅、衰减参数等等。 整个Q学习算法的实现思路相对简单：首先，根据当前状态和选择的行动，计算下一个状态以及此行动所获得的奖励值，并将这些信息存入Q表；接着，运用Q表来指导下一次选择行动；最后，运用策略提高小车车经过迷宫时的成功率。 总的来说，这个Matlab的Q学习示例可以帮助用户快速了解Q学习算法，并了解如何运用它来解决实际问题，例如通过小车车行驶的迷宫。同时，这个示例也为用户提供了一个调试代码的平台，并帮助用户进一步了解如何对自己的代码进行优化，以便解决特定问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

uncle_ll

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值