二、Value-Based Reinforcement Learning

已于 2024-09-09 16:54:18 修改
阅读量358 收藏 4
点赞数 4
分类专栏： DRL深度强化学习 文章标签： 机器学习 深度学习 人工智能
于 2024-09-06 14:48:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sunsundayZ/article/details/141959532
版权

由于在看DRL论文中，很多公式都很难理解。因此最近在学习DRL的基本内容。

再此说明，非常推荐B站 “王树森 老师的DRL 强化学习” 本文的图表及内容，都是基于王老师课程的后自行理解整理出的内容。

目录

A.前文提示

B. DQN Value_Based method

一、DQN算法介绍

二、TD算法的介绍

三、如何使用TD算法 训练DQN

C. DQN算法总结

A.前文提示

在上篇文档中我们提到，训练AI agent 主要有两种方式。

一种是：基于Policy Π 的 Policy_Based_Learning method

一种是：基于 Optimal AC Func Value_Based_learning method

B. DQN Value_Based method

一、DQN算法介绍

游戏的目标是打赢游戏 = 强化学习中最大化奖励

DQN算法是Value based method，因此其依赖acion_value function

Value_Based method表示，在状态S下执行动作A的平均回报有多好（因为是考虑的期望）。（即Q*是一个先知，他能告诉每一个执行动作的平均回报）。DQN算法会选择Q值最高的动作

value-based method 即学习一个函数来近似Q*

来近似估计

DQN算法的输入是S，输出是对于所有可能动作的打分（如果是左右上三个动作，即会产生一个3×1的向量）

二、TD算法的介绍

Temporal Difference Learning

目标使TD error变为0，即预计时间与实际值相等

TD error = Q（w）- TDTarget

一个例子，从NYC到达ATL预计1000min 实际用了860min

模型预测，

TD target = 300+600 = 900 300是实际值，600是估计值。

因此，TD target值相较于估测值Q（w）更加可靠。

三、如何使用TD算法 训练DQN

因此

对两边同求期望，得到下面式子

DQN算法根据当前状态St+1 对每一个动作进行打分。并选择分数最高的动作。

C. DQN算法总结

思想

来近似估计

观测到状态S

基于状态S，求得使Q值分数最大的A（实际的Q值）

有了 S 和 A 后

价值学习（Value-based Reinforcement Learning）
weixin_44924725的博客
04-29 3362
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、价值学习（Value-based Reinforcement Learning）1.Deep Q-Network（DQN）2.训练DQN使用的算法3.TD learning for DQN总结 前言 讲完强化学习的基本概念，来介绍一下价值学习算法； 一、价值学习（Value-based Reinforcement Learning） 1.Deep Q-Network（DQN） 核心就是用神经网络去近似Q*（s,a）函数.
强化学习RL 02: Value-based Reinforcement Learning
天狼啸月1990的博客
02-27 1842
DQN和TD更新算法。
Model-Based Reinforcement Learning
qq_45191106的博客
06-06 330
# Model-Based Reinforcement Learning## Principle We consider the optimal control problem of an MDP with a **known** reward function $R$ and subject to **unknown deterministic** dynamics $s_{t+1} = f(s_t, a_t)$:$$\max_{(a_0,a_1,\dotsc)} \sum_{t=0}^\infty \g
Value-based Reinforcement Learning
南极光的专栏
03-19 1887
不久前做了一个关于value-based RL相关的slides，主要讲解了基于值的强化学习方法的几个重要理论方法，同时讲解了Q-learning作为off-policy方法在学习过程中产生的bias的来源已经如何减轻的几种方法。 源文件： Github 讲义： PDF...
Value-Based Reinforcement Learning（基于值的强化学习）详解-ChatGPT4o作答
qq_46215223的博客
01-04 673
Value-Based RL 是强化学习中最传统且有效的方法，通过学习值函数为智能体的行为提供决策依据。与基于策略的方法（Policy-Based RL）不同，Value-Based RL 不直接学习策略，而是通过优化值函数间接推导出策略。在 Value-Based RL 中，核心是学习一个值函数 ( V(s) ) 或 ( Q(s, a) )，并通过这些值函数来评估智能体在环境中的行为。表示从状态 ( s ) 开始，执行动作 ( a ) 后遵循策略 ( \pi ) 所能获得的累积奖励期望值。
【强化学习-02】Value-based reinforcement learning
HsinglukLiu的博客
01-27 611
Value-based reinforcement learningValue-based reinforcement learningAction-value functionsDeep Q Network (DQN)训练神经网络的算法：`Temporal difference algorithm`一个例子Apply TD learning to DQNSummary参考文献 本文整理自教学视频 (作者: Shusen Wang)：https://www.bilibili.com/video/BV1rv4
强化学习RL 03: Policy-based Reinforcement Learning
天狼啸月1990的博客
02-27 1227
用一个神经网络来近似策略函数π。
Model-Based Reinforcement Learning: Theory and Practice 译文
Dr.Zee的博客
07-15 1004
目录Model-Based Reinforcement Learning: Theory and PracticeModel-based techniques**Analytic gradient computation****Sampling-based planning****Model-based data generation****Value-equivalence prediction**Trade-offs of model data**The Good News****The Bad New
【RLchina第四讲】Model-Based Reinforcement Learning
小小何先生的学习之旅
02-23 2975
文章目录Model-Based Reinforcement learningModel-Free RL V.S. Model-Based RLModel-Based RL：Blackbox and WhiteboxIntroduction to MBRL from DynaShooting methods：RS，PETS，POPLINRandom Shooting(RS)PETS：Probabilistic Ensembles with Trajectory SamplingPOPLINTheoretic
Model-Based Value Expansion for Efficient Model-Free Reinforcement Learning
KunBB的博客
09-17 1722
文献目录 文章目录1. INTRODUCTION2. Model-Based Value Expansion 1. INTRODUCTION 丰富的值函数近似器能够很好地完成复杂的任务，但需要与真实世界进行不切实际的大量交互； 在相当受限的环境下，基于模型（MB）的方法可以使用习得的模型快速达到近似最优的控制； 复杂的环境需要高容量的模型（如更深的神经网络），而当数据量较少的时候，高容量模型容...
Policy-Based Reinforcement Learning（基于策略的强化学习）详解-ChatGPT4o作答
qq_46215223的博客
01-04 1121
Policy-Based RL 是强化学习的核心方法之一，直接优化策略，适用于复杂场景和连续动作空间。尽管存在高方差和样本效率低的问题，但通过改进算法（如 PPO、SAC）和混合方法（如 Actor-Critic），它在机器人控制、自动驾驶和游戏 AI 等领域展现出极大的潜力。策略梯度方法是 Policy-Based RL 的基础，直接优化策略函数参数 ( \theta ) 以最大化期望累积奖励 ( J(\theta) )。PPO 是一种先进的策略优化算法，改进了策略梯度方法的稳定性和效率。
Value-Based Reinforcement Learning-DQN
CltCj的博客
08-11 8054
强化学习 这一章会讲DQN算法，并且用TD算法来训练DQN。 强化学习入门这一篇就够了强化学习前言一、Action-Value Functions二、DQN2.1 游戏中agent的目标是什么？2.2 agent如何做决策？2.3 如何理解Q* 函数呢？2.5 DQN打游戏？三、如何训练DQN?3.1 TD算法3.2 TD算法训练DQN四、训练步骤六、总结 前言 说明一下：这是我的一个学习笔记，课程链接如下： 最易懂的强化学习课程 公众号：AI那些事 一、Action-Value Functio
用Python解锁未来交通：开发基于机器学习的流量预测系统
最新发布
Echo_Wish
04-02 52
通过以上步骤，我们构建了一个简单却实用的交通流量预测系统。虽然这里只是初步探索，但这种基于机器学习的系统在未来智慧城市中将大有可为。对于我们开发者而言，每一个数据点都隐藏着无限可能。相信通过不断学习与实践，你也能创造属于自己的智能预测系统！
#基于Django实现机器学习医学指标概率预测网站
Ljugg的博客
03-30 771
模板文件（templates）：负责页面的展示和用户交互。视图文件（views.py）：处理用户请求和业务逻辑。URL配置文件（urls.py）：定义URL路由规则。模型文件（models.py）：定义数据库模型（本项目暂未涉及数据库操作）。应用配置文件（apps.py）：配置应用信息。项目设置文件（settings.py）：配置项目的全局设置。通过以上代码的详细分析，我们实现了一个基于Django框架的医学指标概率预测系统。
Ground Truth（真实标注数据）：机器学习中的“真相”基准
Zlyzjiabjw547479的博客
03-27 895
本文介绍了机器学习与深度学习领域的一个常见概念：Ground Truth（GT，真实标注数据）。Ground Truth（简称GT）是指在训练和评估机器学习模型时使用的已知正确答案或标签。它是模型学习的基础，也是评估模型性能的标准。在图像分类任务中，Ground Truth是每张图片的正确类别标签（label）在目标检测中，Ground Truth是物体在图像中的精确位置和类别（mask、annfiles等）在自然语言处理中，Ground Truth可能是文本的情感标签或正确的翻译。
【Deepseek、ChatGPT】智能气候前沿：AI Agent结合机器学习与深度学习在全球气候变化驱动因素预测中的应用
JNLWLAQ的博客
04-01 1098
【Deepseek、ChatGPT】智能气候前沿：AI Agent结合机器学习与深度学习在全球气候变化驱动因素预测中的应用
机器学习、深度学习和神经网络
cgaowei的博客
03-30 891
机器学习是人工智能的一个子集，它使用计算机算法来分析数据，并根据所学内容做出智能决策。机器学习算法的三个主要类别包括监督学习、无监督学习和强化学习。 深度学习是机器学习的一个专门子集，它通过分层算法创建神经网络，使人工智能系统能够从非结构化数据中学习，并在工作中持续学习。 神经网络，一种模仿生物神经元的计算单元集合，随着时间的推移学习对数据进行决策。不同的神经网络类型包括感知器、卷积神经网络或 CNN 以及循环神经网络或 RNN。
机器学习——KNN与线性回归算法小结
m0_60548895的博客
03-29 317
主要：普通线性回归/多项式线性回归/普通逻辑回归/复杂逻辑回归
【机器学习】——机器学习思考总结
庄小焱
03-27 1387
这篇文章深入探讨了机器学习中的数据相关问题，重点分析了神经网络（DNN）的学习机制，包括层级特征提取、非线性激活函数、反向传播和梯度下降等关键机制。同时，文章还讨论了数据集大小的标准、机器学习训练数据量的需求、评分卡模型的数据量要求，以及个人消费贷场景下的数据量分析等内容，旨在为机器学习实践提供数据方面的思考与经验。
development of multi-agent reinforcement learning
03-30
Multi-agent reinforcement learning (MARL) is a subfield of reinforcement learning (RL) that involves multiple agents learning simultaneously in a shared environment. MARL has been studied for several ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沈夢昂志

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值