二、Value-Based Reinforcement Learning

已于 2024-09-09 16:54:18 修改
阅读量317 收藏 3
点赞数 4
分类专栏： DRL深度强化学习 文章标签： 机器学习 深度学习 人工智能
于 2024-09-06 14:48:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sunsundayZ/article/details/141959532
版权

由于在看DRL论文中，很多公式都很难理解。因此最近在学习DRL的基本内容。

再此说明，非常推荐B站 “王树森 老师的DRL 强化学习” 本文的图表及内容，都是基于王老师课程的后自行理解整理出的内容。

目录

A.前文提示

B. DQN Value_Based method

一、DQN算法介绍

二、TD算法的介绍

三、如何使用TD算法 训练DQN

C. DQN算法总结

A.前文提示

在上篇文档中我们提到，训练AI agent 主要有两种方式。

一种是：基于Policy Π 的 Policy_Based_Learning method

一种是：基于 Optimal AC Func Value_Based_learning method

B. DQN Value_Based method

一、DQN算法介绍

游戏的目标是打赢游戏 = 强化学习中最大化奖励

DQN算法是Value based method，因此其依赖acion_value function

Value_Based method表示，在状态S下执行动作A的平均回报有多好（因为是考虑的期望）。（即Q*是一个先知，他能告诉每一个执行动作的平均回报）。DQN算法会选择Q值最高的动作

value-based method 即学习一个函数来近似Q*

来近似估计

DQN算法的输入是S，输出是对于所有可能动作的打分（如果是左右上三个动作，即会产生一个3×1的向量）

二、TD算法的介绍

Temporal Difference Learning

目标使TD error变为0，即预计时间与实际值相等

TD error = Q（w）- TDTarget

一个例子，从NYC到达ATL预计1000min 实际用了860min

模型预测，

TD target = 300+600 = 900 300是实际值，600是估计值。

因此，TD target值相较于估测值Q（w）更加可靠。

三、如何使用TD算法 训练DQN

因此

对两边同求期望，得到下面式子

DQN算法根据当前状态St+1 对每一个动作进行打分。并选择分数最高的动作。

C. DQN算法总结

思想

来近似估计

观测到状态S

基于状态S，求得使Q值分数最大的A（实际的Q值）

有了 S 和 A 后

沈夢昂志
关注
专栏目录
Continuous Deep Q-Learning with Model-based Acceleration
03-02
Model-free reinforcement learning has been successfully applied to a range of challenging problems, and has recently been extended to handle large neural network policies and value functions....
Reinforcement learning合集
04-25
Deep Reinforcement Learning Hands-On_ Apply modern RL methods, with deep Q-networks, value iteration, policy gradients, TRPO, AlphaGo Zero and more.pdf Hands-On Reinforcement Learning with Python_ ...
Continuous control with deep reinforcement learning.pdf
09-02
1. 深度强化学习与连续控制：文档标题“Continuous control with deep reinforcement learning”指向了强化学习领域的一个重要分支——连续控制。这是相对于离散控制的强化学习，其特点是能够处理连续的动作空间。...
Reinforcement Learning.pptx
06-18
增强学习（Reinforcement Learning，RL）是一种人工智能学习方法，其核心目标是让智能系统通过与环境的交互，学习如何做出最优的决策序列以最大化累积奖励。在这个过程中，智能体（agent）并不需要预先知道环境的...
Algorithms of Reinforcement Learning
02-23
1. **值函数方法（Value-based Methods）**：这类方法通过估计状态或状态-动作对的价值函数来指导行为选择。例如，Q-learning 和 SARSA 是两种典型的值函数方法。 2. **策略梯度方法（Policy Gradient Methods）**：...
【人工智能】生成对抗网络（GAN）原理与Python实现：从零构建图像生成模型
一个被知识诅咒的人
11-18 793
生成对抗网络（GAN）是深度学习中用于生成数据的前沿技术，通过两个神经网络的对抗训练实现逼真图像的生成。本文深入介绍GAN的基本原理，并使用Python从头构建一个简单的GAN模型。文章将涵盖GAN的数学理论、网络结构、训练步骤、及如何使用GAN生成图像数据。通过详细的代码示例和中文注释，本文帮助读者深入理解GAN的实现过程，探索如何通过GAN在图像生成应用中创造出逼真效果。本文适合希望了解并动手实践GAN原理和实现的读者。
机器学习（西瓜书)-BP神经网络实现
qq_27047075的博客
11-18 145
2、用感知机实现线性可分的与，或，非问题，然后用多层感知机实现线性不可分割的异或问题。所有的参数还有变量依托于周志华的机器学习（西瓜书）p97-p104。3、之后搭建了一个三层神经网络，任务是判断一个数字是否>0.5。1、首先定义两个激活函数，越阶函数和sigmoid函数。
【机器学习】数学知识：欧式距离（Euclidean Distance）和曼哈顿距离（Manhattan Distance）
IT古董
11-15 939
欧式距离和曼哈顿距离是两种常用的距离度量方法，用于衡量两点之间的相似性或差异性。它们在几何分析、数据挖掘、机器学习等领域有广泛应用。欧式距离（Euclidean Distance）是最常见的直线距离度量方法，源于欧几里得几何学。它表示两点之间的直线距离，类似于二维或三维空间中两点间的最短路径。曼哈顿距离（Manhattan Distance）也称为“城市街区距离”或“L1 距离”，表示两点之间的路径长度，假设只能沿水平和垂直方向移动，类似于网格状街道上的步行距离。
【python】机器学习调参与自动化：使用Hyperopt优化你的模型
萧鼎的博客
11-14 1225
Hyperopt 是一个 Python 库，用于优化和自动化机器学习模型的超参数调节。它支持多种优化算法，最常用的是贝叶斯优化（Bayesian Optimization）、随机搜索（Random Search）以及遗传算法（Genetic Algorithm）。Hyperopt 不仅适用于机器学习任务，也可以广泛应用于其他需要优化的场景。空间（Space）：定义超参数搜索空间。通常情况下，我们通过指定每个超参数的取值范围来定义一个空间。目标函数（Objective Function）
机器学习基础06_梯度下降
最新发布
l15202833159的博客
11-18 1182
机器学习；梯度下降
《线性代数》学习笔记
tan_liang_liang的博客
11-11 614
直观上就是，如果第三个向量的直线掉在前面两条向量张成的平面，那么就线性相关，否则是线性无关的。就是用前面确定线性无关的两个列向量a和b，组成议程ax+by=c是否有解，如果有解。如何判断有解，用消元法。求解这样的方程，先把它转换成行阶梯式，而且每一个主元上面对应的系数是0。什么是基础解系，就是其它解可以表示成两个向量的线性组合，这两个向量就是基础解系。上个星期继续学线性代数，一个矩阵，如何判断它是的列向量有几个是线性无关呢？第二种方法是判断这个矩阵的行列式，如果行列式计算不是0,那么它的列向量就是无关的。
使用 DBSCAN（基于密度的聚类算法） 对二维数据进行聚类分析
C7211BA的博客
11-15 438
使用 make_moons 方法生成一个非线性分布的二维数据集，模拟月亮形状的两个半环形分布，同时添加一定的噪声。
机器学习基础05
adc_abc123的博客
11-15 976
属于集成学习,是通过构建一个包含多个决策树(通常称为基学习器或弱学习器)的森林，每棵树都在不同的数据子集和特征子集上进行训练，最终通过投票或平均预测结果来产生更准确和稳健的预测。这种方法不仅提高了预测精度，也降低了过拟合风险，并且能够处理高维度和大规模数据集。
Embedding的用法
handsomeboysk的博客
11-17 923
的每一行向量会在训练过程中通过梯度下降优化，使得这些向量捕捉到输入索引的语义或特征关系。嵌入向量的维度允许模型学习到输入索引之间的隐式语义关系。，Embedding 层会从矩阵中取出第。嵌入层的核心是一个可以学习的矩阵。Embedding 是一种将。一个随机初始化的嵌入矩阵。
机器学习—模型评估
yn3535_的博客
11-13 783
我们要做的是在训练集上训练模型的参数，在这个70%的数据上，然后我们将在这个测试集中用符号来测试这个性能，用(x1,y1)(x2,y2),与前面相同，通过x表示训练示例所以在这个小例子中，我们会有七个训练例子，并引入一个新的符号，M训练是训练实例的数量，在这个小数据集中是七个，所以下标只是强调如果我们看数据的训练集部分，对于测试集，我们将使用符号X一个下标测试来表示第一个测试示例，m是测试示例的个数，在本例中是三个，大部分数据都进入了训练集，一小部分进入测试集。的成本函数J，所以这是通常的。
【机器学习基础】西瓜书阅读笔记task01
m0_52682586的博客
11-14 483
机器学习：研究如何通过计算的手段，利用经验来改善系统自身的性能计算机系统中，经验通常以数据形式存在。机器学习研究的主要内容：计算机从数据中产生模型的算法，即“学习算法”把经验（经验数据）提供给这个算法，算法就可以基于数据产生模型，在面对新情况时，模型就会给我们提供相应的判断。机器学习就是研究这种“学习算法”的学问。模型就指从数据中学得的结果。
机器学习：智能技术的未来
ciweic的博客
11-18 887
机器学习是人工智能的一个分支，它使计算机系统能够利用数据和算法自动学习和改进其性能。与传统编程不同，机器学习不需要人类明确地编写指令告诉计算机如何执行任务。相反，机器学习模型通过分析大量数据，识别模式和趋势，从而“学习”如何执行特定的任务。机器学习不仅仅是一个技术概念，它正在成为我们日常生活的一部分。随着算法的不断进步和计算能力的提升，机器学习将继续推动智能技术的发展，为我们带来更加智能和便捷的未来。
期末考核-机器学习-期末考核
小镇做题家
11-09 567
RAG通过从外部知识库中检索相关信息，并将其作为提示（Prompt）输入给大型语言模型（LLMs），以增强模型处理知识密集型任务的能力，如问答、文本摘要、内容生成等。RAG可用于自动生成文章段落、文档或自动摘要，基于检索的知识来填充文本，使得生成的内容更具信息价值。其实对于目前的ai来说，我觉得目前的ai使用来说：就是单纯降低我们对于自己信息使用的信息复杂度，对于信息复杂度的降低，极大加大我们自己开发程度。
【Diffusion分割】CorrDiff：用于脑肿瘤分割的校正扩散模型
qq_43583311的博客
11-18 805
要进行精确的临床诊断和治疗，必须对核磁共振成像图像中的脑肿瘤进行准确分割。然而，现有的医学图像分割方法存在误差，可分为随机误差和系统误差两类。随机误差产生于各种不可预测的影响，给检测和纠正带来了挑战。相反，系统误差可归因于系统效应，可通过机器学习技术有效解决。在本文中，我们提出了一种校正扩散模型，。此外，此外，我们。我们的模型在 BRATS2019、BRATS2020 和 Jun Cheng 数据集上进行了评估。实验结果表明，在脑肿瘤分割方面，我们的模型比最先进的方法更有效。
development of multi-agent reinforcement learning
03-30
Multi-agent reinforcement learning (MARL) is a subfield of reinforcement learning (RL) that involves multiple agents learning simultaneously in a shared environment. MARL has been studied for several decades, but recent advances in deep learning and computational power have led to significant progress in the field. The development of MARL can be divided into several key stages: 1. Early approaches: In the early days, MARL algorithms were based on game theory and heuristic methods. These approaches were limited in their ability to handle complex environments or large numbers of agents. 2. Independent Learners: The Independent Learners (IL) algorithm was proposed in the 1990s, which allowed agents to learn independently while interacting with a shared environment. This approach was successful in simple environments but often led to convergence issues in more complex scenarios. 3. Decentralized Partially Observable Markov Decision Process (Dec-POMDP): The Dec-POMDP framework was introduced to address the challenges of coordinating multiple agents in a decentralized manner. This approach models the environment as a Partially Observable Markov Decision Process (POMDP), which allows agents to reason about the beliefs and actions of other agents. 4. Deep MARL: The development of deep learning techniques, such as deep neural networks, has enabled the use of MARL in more complex environments. Deep MARL algorithms, such as Deep Q-Networks (DQN) and Deep Deterministic Policy Gradient (DDPG), have achieved state-of-the-art performance in many applications. 5. Multi-Agent Actor-Critic (MAAC): MAAC is a recent algorithm that combines the advantages of policy-based and value-based methods. MAAC uses an actor-critic architecture to learn decentralized policies and value functions for each agent, while also incorporating a centralized critic to estimate the global value function. Overall, the development of MARL has been driven by the need to address the challenges of coordinating multiple agents in complex environments. While there is still much to be learned in this field, recent advancements in deep learning and reinforcement learning have opened up new possibilities for developing more effective MARL algorithms.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沈夢昂志

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值