（14-3）值分布式算法：QR-DQN (Quantile Regression DQN)算法

最新推荐文章于 2024-06-12 09:45:59 发布
最新推荐文章于 2024-06-12 09:45:59 发布
阅读量1k 收藏 21
点赞数 23
分类专栏： 强化学习从入门到实践 文章标签： 算法 python 人工智能 神经网络 强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/asd343442/article/details/137392304
版权

14.3  QR-DQN (Quantile Regression DQN)算法

QR-DQN（Quantile Regression DQN）是一种强化学习算法，它是深度 Q-网络（Deep Q-Network，DQN）的一个变种，旨在更好地处理值函数的不确定性。QR-DQN引入了分位数回归的概念，以估计值函数的分布，而不是传统的单一值估计。

14.3.1  QR-DQN算法的核心思想

QR-DQN（Quantile Regression DQN）算法的核心思想是将值函数表示为一个分布，而不是传统的单一值估计。这个分布可以提供有关值函数不确定性的更多信息。QR-DQN通过引入分位数回归的概念来实现这一目标。

  1. 值函数分布表示：QR-DQN的核心思想是将值函数表示为一个分布，而不是单一的值。这个分布表示了在每个状态-动作对下可能的回报值的不确定性。分布由一组分位数（quantile）来参数化，而不是单一的期望值。
  2. 分位数回归：
了解本专栏 订阅专栏 解锁全文 超级会员免费看
码农三叔
关注
  • 23
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
breakout-Deep-Q-Network:强化学习| 在Atari Breakout上执行DQN，对决DQN和Double DQN的tensorflow实现
05-11
:person_running: [强化学习]在Atari Breakout游戏上执行的Deep Q Network（DQN），决斗DQN和Double DQN的张量流实现 安装 键入以下命令以安装OpenAI Gym Atari环境。 $ pip3 install opencv-python gym gym[atari...
【论文笔记】分布型强化学习（Distributional RL）专题5篇
Xixoqw的博客
11-03 1681
主要介绍分布型强化学习（不是分布式强化学习）。分布型强化学习主要是学习一个Q的分布，从而训练出有风险偏好性的agent。
强化学习的学习之路（二十四）_2021-01-24：Distributional DQN：Distributional RL with Quantile Regression
热爱可抵漫长岁月
02-26 787
作为一个新手，写这个教程也是想和大家分享一下自己学习强化学习的心路历程，希望对大家能有所帮助。这个系列后面会不断更新，希望自己能保证起码平均一天一更的速度，先是介绍强化学习的一些基础知识，后面介绍强化学习的相关论文。本来是想每一篇多更新一点内容的，后面想着大家看CSDN的话可能还是喜欢短一点的文章，就把很多拆分开来了，目录我单独放在一篇单独的博客里面了。完整的我整理好了会放在github上，大家一起互相学习啊！可能会有很多错漏，希望大家批评指正！ 接下来的几个博客将会分享以下有关DQN算法及其改进，包括DQ
探索深度强化学习新境界：FQF、IQN 和 QR-DQN 的 PyTorch 实现 ✨
最新发布
gitblog_00100的博客
06-12 451
???? 探索深度强化学习新境界：FQF、IQN 和 QR-DQN 的 PyTorch 实现 ✨ fqf-iqn-qrdqn.pytorchPyTorch implementation of FQF, IQN and QR-DQN.项目地址:https://gitcode.com/gh_mirrors/fq/fqf-iqn-qrdqn.pytorch 在不断进化的人工智能领域中，深度强化学习一直是研究...
基于分位数回归的分布强化学习（Distributional Reinforcemet Learning with Quantile Regression)
weixin_41168254的博客
05-20 5599
引入 Deep Mind团队联合剑桥大学在2017年提出了一种新的强化学习范式——基于分位数回归的分布强化学习（QR-DRL），为强化学习的未来发展指明了一个更加有前景的方向，以学习回报值的概率分布来代替学习回报值的期望值。Deep Mind的论文通过在atari游戏中的实验，证明了QR-DRL的强大性能，在众多游戏中都达到了state-of-art。私以为QR-DRL是近年来为数不多的，从根本理...
干货！基于非递减分位数网络的值分布强化学习及其高效探索方法
AITIME_HY的博客
02-10 2634
点击蓝字关注我们AI TIME欢迎每一位AI爱好者的加入！尽管值分布强化学习在过去几年中得到了广泛的研究，但仍然存在两方面未能解决问题：一是如何保证估计出来的分位数函数的有效性，二是如何有...
强化学习经典model-free方法总结
Echooo的博客
10-24 4088
强化学习经典方法总结1. 基于值函数(value-based)的方法1.1 sarsa1.2 Q-learning1.3 DQN1.4 Double DQN1.5 Dueling DQN1.6 QR-DQN1.7 Rainbow2. 基于策略（Policy-based）的方法2.1 DPG2.2 DDPG3. 基于价值和策略(Actor-Critic架构)的方法 本文对强化学习的model-free经典方法做一个总结归纳，以便在使用方法或阅读文献时进行对比查找。本文的框架如图所示： 1. 基于值函数(va
ai-flappy-bird:DQN飞扬的小鸟
04-29
《飞扬的小鸟》中的强化学习使用“玩具”库的遗传算法应用于使用p5.js构建的自定义软盘飞鸟版本入门看到-现场演示 或在本地运行： npm i -g ...在手机上工作 速度选择器 跑最好的鸟 使用tensorflow.js学分该项目建立在@...
DeepRL_PyTorch：用于研究的深度强化学习代码。 当前，仅存在算法代码：DQN，C51，QR-DQN，IQN和QUOTA
02-02
C51，QR-DQN和IQN的代码与略有。 QUOTA是基于算法作者同的工作而实现的。 我最近注意到，我的DQN代码可能无法获得理想的性能，而其他代码却运行良好。 如果有人可以指出我的代码中的错误，我将不胜感激。 随时进行...
AI博客：让我们制作DQN A3C系列的随附存储库
02-06
在本教程中，我们将深入探讨如何创建一个与AI博客系列配套的DQN（Deep Q-Network）和A3C（Asynchronous Advantage Actor-Critic）算法的存储库。这两个强化学习模型在现代人工智能领域中占据着重要的地位，尤其在...
Distributional Reinforcement Learning with Quantile Regression.pdf
09-02
Distributional Reinforcement Learning with Quantile Regression
8.quantile regression dqn.ipynb
09-02
关于quantile regression dqn的例子，适合初学者对深度强化学习quantile regression dqn认识和了解
dqn_DQN算法_DQN_DQN实现_
10-02
**深度Q学习（DQN）算法详解** 深度Q学习（Deep Q-Network，简称DQN）是强化学习领域的一种重要算法，它结合了Q学习与深度学习的优势，解决了传统Q学习在处理高维状态空间时的困难。DQN算法由DeepMind在2015年的...
（14-2）值分布式算法：C51 (Categorical DQN)算法
码农三叔
04-04 1112
更为关键的是，C51算法通过将值函数表示为分布，并使用分类损失函数来训练神经网络，使其生成与目标分布相匹配的分布，从而处理不确定性和优化值函数的估计。（5）与其他算法比较：将C51算法与其他强化学习算法进行比较，包括传统的Q-learning、DQN（Deep Q-Network）等，以确定C51的性能是否优于或与其他算法相当。C51算法的训练流程涉及将神经网络用于估计值函数的分布，并使用分类损失函数来优化网络参数，以使网络的输出分布接近目标分布。数据收集使用随机策略，后续的训练将使用回放缓冲区中的数据。
值分布强化学习
rl小透明
03-28 597
值分布强化学习 1.对比 传统强化学习 目标是为了优化累积回报，但是这个累积回报其实是一个随机变量 值分布强化学习 由于状态转移的随机性、状态表示的混叠效应，以及函数逼近的引入，智能体与环境之间存在着随机性，这就导致了折扣累计回报 [公式] 是一个随机变量，给定策略 [公式] 后，随机变量 [公式] 服从一个分布，这个分布我们称之为值分布。经典强化学习算法是优化值分布的均值，而忽略了整个分布所提供的信息。 用一个图来表示是这样的： [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img
【方法总结】值分布强化学习（Distributional RL）
深度强化学习实验室：一个“开源开放、共享共进”的强化学习学术组织。
01-13 6762
深度强化学习实验室官网：http://www.neurondance.com/来源：微软研究院AI头条授权转载编辑：DeepRL值分布强化学习（Distributional Reinfo...
An Optimistic Perspective on Offline Reinforcement Learning（ICML2020）
yxh的博客
01-19 756
Abstract \quad 该文章利用了 the DQN replay dataset 研究了Offline RL，该数据集包含了一个 DQN agent 在60款Atari 2600游戏上的 the entire replay experience 。 \quad 我们证明了 recent off-policy deep RL 算法，即使仅仅在 replay dataset 上训练，表现也比训练好的 DQN agent 要好。 \quad 为了增强 offline setting 的泛化能力，我们提出了
华为 AAAI 2019 入选论文出炉，都是强化学习相关
weixin_33682719的博客
01-31 944
雷锋网(公众号：雷锋网) AI 科技评论按，AAAI 系列会议是为了促进人工智能的学术研究和交流举办的顶级学术会议。作为第三十三届 AAAI 会议，AAAI 2019 又一次刷新了人工智能会议的记录，投稿数量达到 7,700 篇，录用率 16.2%。 今年，华为诺亚方舟实验室埃德蒙顿团队在 AAAI 2019 有两篇强化学习文章录用，论文的具体介绍如...
值函数强化学习-DQN、DDQN和Dueling DQN算法公式推导分析
11-08
DQN算法是一种基于Q-learning的深度强化学习算法，其目标是学习一个Q函数，使得该函数能够最大化累积奖励。DDQN算法是对DQN算法的改进，通过解决DQN算法中过高估计Q值的问题，提高了算法的性能。Dueling DQN算法则是在DDQN算法的基础上，提出了一种新的神经网络结构，使得算法的学习效率更高。 下面是DQN算法的公式推导分析： 1. Q-learning的更新公式为：$Q(s_t,a_t) \leftarrow Q(s_t,a_t) + \alpha(r_{t+1} + \gamma \max_{a} Q(s_{t+1},a) - Q(s_t,a_t))$ 2. DQN算法使用了深度神经网络来逼近Q函数，将更新公式改为：$Q(s_t,a_t) \leftarrow Q(s_t,a_t) + \alpha(r_{t+1} + \gamma \max_{a} Q(s_{t+1},a; \theta^-) - Q(s_t,a_t; \theta))$，其中$\theta$为当前网络的参数，$\theta^-$为目标网络的参数，$\max_{a} Q(s_{t+1},a; \theta^-)$表示在下一个状态$s_{t+1}$中，选择动作$a$所得到的最大Q值。 3. DDQN算法在DQN算法的基础上，使用了双网络结构，解决了DQN算法中过高估计Q值的问题。更新公式为：$Q(s_t,a_t) \leftarrow Q(s_t,a_t) + \alpha(r_{t+1} + \gamma Q(s_{t+1},\arg\max_{a} Q(s_{t+1},a; \theta); \theta^-) - Q(s_t,a_t; \theta))$，其中$\arg\max_{a} Q(s_{t+1},a; \theta)$表示在下一个状态$s_{t+1}$中，选择动作$a$所得到的最大Q值对应的动作。 4. Dueling DQN算法在DDQN算法的基础上，提出了一种新的神经网络结构，使得算法的学习效率更高。具体来说，Dueling DQN算法的输出包括两个分支，分别是该状态的状态价值V(标量)和每个动作的优势值A(与动作空间同维度的向量)。网络结构如下图所示： [Dueling DQN网络结构](https://img-blog.csdn.net/20170727145756345?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvY2hlbnhpYW9fYmFpZHUx/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/q/80) 更新公式为：$Q(s_t,a_t) \leftarrow V(s_t) + (A(s_t,a_t) - \frac{1}{|\mathcal{A}|} \sum_{a} A(s_t,a))$，其中$V(s_t)$表示状态$s_t$的价值，$A(s_t,a_t)$表示在状态$s_t$下选择动作$a_t$的优势值，$\frac{1}{|\mathcal{A}|} \sum_{a} A(s_t,a)$表示所有动作的平均优势值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

码农三叔

感谢鼓励

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值