二、Value-Based Reinforcement Learning

已于 2024-09-09 16:54:18 修改
阅读量358 收藏 4
点赞数 4
分类专栏： DRL深度强化学习 文章标签： 机器学习 深度学习 人工智能
于 2024-09-06 14:48:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sunsundayZ/article/details/141959532
版权

由于在看DRL论文中，很多公式都很难理解。因此最近在学习DRL的基本内容。

再此说明，非常推荐B站 “王树森 老师的DRL 强化学习” 本文的图表及内容，都是基于王老师课程的后自行理解整理出的内容。

目录

A.前文提示

B. DQN Value_Based method

一、DQN算法介绍

二、TD算法的介绍

三、如何使用TD算法 训练DQN

C. DQN算法总结

A.前文提示

在上篇文档中我们提到，训练AI agent 主要有两种方式。

一种是：基于Policy Π 的 Policy_Based_Learning method

一种是：基于 Optimal AC Func Value_Based_learning method

B. DQN Value_Based method

一、DQN算法介绍

游戏的目标是打赢游戏 = 强化学习中最大化奖励

DQN算法是Value based method，因此其依赖acion_value function

Value_Based method表示，在状态S下执行动作A的平均回报有多好（因为是考虑的期望）。（即Q*是一个先知，他能告诉每一个执行动作的平均回报）。DQN算法会选择Q值最高的动作

value-based method 即学习一个函数来近似Q*

来近似估计

DQN算法的输入是S，输出是对于所有可能动作的打分（如果是左右上三个动作，即会产生一个3×1的向量）

二、TD算法的介绍

Temporal Difference Learning

目标使TD error变为0，即预计时间与实际值相等

TD error = Q（w）- TDTarget

一个例子，从NYC到达ATL预计1000min 实际用了860min

模型预测，

TD target = 300+600 = 900 300是实际值，600是估计值。

因此，TD target值相较于估测值Q（w）更加可靠。

三、如何使用TD算法 训练DQN

因此

对两边同求期望，得到下面式子

DQN算法根据当前状态St+1 对每一个动作进行打分。并选择分数最高的动作。

C. DQN算法总结

思想

来近似估计

观测到状态S

基于状态S，求得使Q值分数最大的A（实际的Q值）

有了 S 和 A 后

Model-Based Reinforcement Learning
qq_45191106的博客
06-06 330
# Model-Based Reinforcement Learning## Principle We consider the optimal control problem of an MDP with a **known** reward function $R$ and subject to **unknown deterministic** dynamics $s_{t+1} = f(s_t, a_t)$:$$\max_{(a_0,a_1,\dotsc)} \sum_{t=0}^\infty \g
Value-Based Reinforcement Learning（基于值的强化学习）详解-ChatGPT4o作答
qq_46215223的博客
01-04 672
Value-Based RL 是强化学习中最传统且有效的方法，通过学习值函数为智能体的行为提供决策依据。与基于策略的方法（Policy-Based RL）不同，Value-Based RL 不直接学习策略，而是通过优化值函数间接推导出策略。在 Value-Based RL 中，核心是学习一个值函数 ( V(s) ) 或 ( Q(s, a) )，并通过这些值函数来评估智能体在环境中的行为。表示从状态 ( s ) 开始，执行动作 ( a ) 后遵循策略 ( \pi ) 所能获得的累积奖励期望值。
价值学习（Value-based Reinforcement Learning）
weixin_44924725的博客
04-29 3358
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、价值学习（Value-based Reinforcement Learning）1.Deep Q-Network（DQN）2.训练DQN使用的算法3.TD learning for DQN总结 前言 讲完强化学习的基本概念，来介绍一下价值学习算法； 一、价值学习（Value-based Reinforcement Learning） 1.Deep Q-Network（DQN） 核心就是用神经网络去近似Q*（s,a）函数.
强化学习RL 02: Value-based Reinforcement Learning
天狼啸月1990的博客
02-27 1841
DQN和TD更新算法。
Value-based Reinforcement Learning
南极光的专栏
03-19 1887
不久前做了一个关于value-based RL相关的slides，主要讲解了基于值的强化学习方法的几个重要理论方法，同时讲解了Q-learning作为off-policy方法在学习过程中产生的bias的来源已经如何减轻的几种方法。 源文件： Github 讲义： PDF...
【强化学习-02】Value-based reinforcement learning
HsinglukLiu的博客
01-27 610
Value-based reinforcement learningValue-based reinforcement learningAction-value functionsDeep Q Network (DQN)训练神经网络的算法：`Temporal difference algorithm`一个例子Apply TD learning to DQNSummary参考文献 本文整理自教学视频 (作者: Shusen Wang)：https://www.bilibili.com/video/BV1rv4
强化学习RL 03: Policy-based Reinforcement Learning
天狼啸月1990的博客
02-27 1226
用一个神经网络来近似策略函数π。
Model-Based Reinforcement Learning: Theory and Practice 译文
Dr.Zee的博客
07-15 1003
目录Model-Based Reinforcement Learning: Theory and PracticeModel-based techniques**Analytic gradient computation****Sampling-based planning****Model-based data generation****Value-equivalence prediction**Trade-offs of model data**The Good News****The Bad New
【RLchina第四讲】Model-Based Reinforcement Learning
小小何先生的学习之旅
02-23 2975
文章目录Model-Based Reinforcement learningModel-Free RL V.S. Model-Based RLModel-Based RL：Blackbox and WhiteboxIntroduction to MBRL from DynaShooting methods：RS，PETS，POPLINRandom Shooting(RS)PETS：Probabilistic Ensembles with Trajectory SamplingPOPLINTheoretic
Model-Based Value Expansion for Efficient Model-Free Reinforcement Learning
KunBB的博客
09-17 1722
文献目录 文章目录1. INTRODUCTION2. Model-Based Value Expansion 1. INTRODUCTION 丰富的值函数近似器能够很好地完成复杂的任务，但需要与真实世界进行不切实际的大量交互； 在相当受限的环境下，基于模型（MB）的方法可以使用习得的模型快速达到近似最优的控制； 复杂的环境需要高容量的模型（如更深的神经网络），而当数据量较少的时候，高容量模型容...
Policy-Based Reinforcement Learning（基于策略的强化学习）详解-ChatGPT4o作答
qq_46215223的博客
01-04 1118
Policy-Based RL 是强化学习的核心方法之一，直接优化策略，适用于复杂场景和连续动作空间。尽管存在高方差和样本效率低的问题，但通过改进算法（如 PPO、SAC）和混合方法（如 Actor-Critic），它在机器人控制、自动驾驶和游戏 AI 等领域展现出极大的潜力。策略梯度方法是 Policy-Based RL 的基础，直接优化策略函数参数 ( \theta ) 以最大化期望累积奖励 ( J(\theta) )。PPO 是一种先进的策略优化算法，改进了策略梯度方法的稳定性和效率。
Value-Based Reinforcement Learning-DQN
CltCj的博客
08-11 8051
强化学习 这一章会讲DQN算法，并且用TD算法来训练DQN。 强化学习入门这一篇就够了强化学习前言一、Action-Value Functions二、DQN2.1 游戏中agent的目标是什么？2.2 agent如何做决策？2.3 如何理解Q* 函数呢？2.5 DQN打游戏？三、如何训练DQN?3.1 TD算法3.2 TD算法训练DQN四、训练步骤六、总结 前言 说明一下：这是我的一个学习笔记，课程链接如下： 最易懂的强化学习课程 公众号：AI那些事 一、Action-Value Functio
从物理学到机器学习：用技术手段量化分析职场被动攻击行为
SiArch的博客
03-28 1366
通过将物理学原理与机器学习技术相结合，我们不仅可以量化分析职场中的被动攻击行为，还能构建智能化的预警和应对系统。这种技术手段的应用需要遵循"AI for Good"的原则，在提升组织效率的同时，也要注重保护员工权益，最终实现人机协同的智慧型组织进化。
机器学习——集成学习框架(GBDT、XGBoost、LightGBM、CatBoost)、调参方法
qq_64296768的博客
03-27 1267
使得模型效果更好，那么我怎么更好的去寻找到满足前提条件中最好的值(即这个前提条件是最优的)，此时寻找的方法就可以使用高斯过程，找到这个最好的前提条件值，此时就只需要对另外一个参数2做考虑即可，迭代参数2的范围，找到模型性能最好的那组对应的超参数组合。幸运的是，目前这个好理解但实现复杂的方法已经被封装在。其高斯过程的核心是对已有的数据点预测区域进行函数建模，求其不确定性和概率分布，对其中概率较大的区间的进行迭代，使得模型的损失达到最低时对应的超参数组合选择，但是这种方式比较消耗计算资源。
【Deepseek、ChatGPT】智能气候前沿：AI Agent结合机器学习与深度学习在全球气候变化驱动因素预测中的应用
最新发布
JNLWLAQ的博客
04-01 622
【Deepseek、ChatGPT】智能气候前沿：AI Agent结合机器学习与深度学习在全球气候变化驱动因素预测中的应用
Trustworthy Machine Learning
Naomi521的博客
04-01 478
公平性损失函数（Fair Loss Function）、对抗性去偏见（Adversarial Debiasing）。数据再平衡（Re-sampling）、合成数据（Data Augmentation）。避免 AI 决策对某些群体存在偏见，如种族、性别、社会经济地位等。攻击者完全了解模型架构和参数，利用梯度计算微小扰动，使模型误分类。如对抗性样本检测、去噪方法（JPEG 压缩、去噪自编码器）。确保模型在训练和推理过程中不泄露敏感数据（如用户信息）。让多个设备本地训练模型，仅共享梯度信息，不传输原始数据。
李宏毅机器学习笔记06 | 鱼和熊掌可以兼得的机器学习 - 内容接宝可梦
好好学习天天向上
03-28 835
方式1：使用sigmoid function。
Python----机器学习（线性回归：反向传播和梯度下降）
weixin_64110589的博客
03-31 695
前向传播是在参数固定后，向公式中传入参数，进行预测的一个过程。当参 数值选择的不恰当时，会导致最后的预测值不符合我们的预期，于是我们就 需要重新修改参数值。在前向传播实验中时，我们都是通过手动修改w值来使直线能更好的拟合散点。反向传播是在前向传播后进行的，它是对参数进行更新的一个过程，反向传 播的过程中参数会根据某些规律修改从而改变损失函数的值。
Python----机器学习（PyTorch模型可视化：summary，netron，TensorboardX）
weixin_64110589的博客
03-31 948
在PyTorch模型可视化中，可通过torchsummary或torchinfo生成模型结构摘要（如层数、参数统计），利用Netron直观展示ONNX格式模型的模块化结构与数据流，并结合TensorBoardX实时监控训练过程（损失、准确率曲线及计算图），三者分别解决模型解析、拓扑可视化和训练动态追踪需求，形成从静态结构到动态训练的全链路可视化支持。
development of multi-agent reinforcement learning
03-30
Multi-agent reinforcement learning (MARL) is a subfield of reinforcement learning (RL) that involves multiple agents learning simultaneously in a shared environment. MARL has been studied for several ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

沈夢昂志

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值