DQN、DDQN、Dueling DQN、PER DQN

已于 2022-04-30 20:39:36 修改
阅读量2.8k 收藏 4
点赞数 2
分类专栏： 强化学习 文章标签： 算法
于 2022-04-29 13:23:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/a999999123/article/details/124493501
版权

DQN

在这里插入图片描述

DDQN（Double DQN）

DQN中的q值总是被高估了
在这里插入图片描述
DQN中使用一个神经网络Q，计算每一个action的的Q值，选择Q值最大的action加上rt
DDQN中使用两个神经网络Q、Q’，使用Q计算action的Q值，选择Q值最大的action，使用Q’计算被选择action的Q’值。
在这里插入图片描述

Dueling DQN

相比于DQN只更改了网络的架构
在这里插入图片描述
DQN中的Q是直接输出一个Q值
Queling DQN是将输出分为价值函数和动作函数，价值函数输出一个实数，表示对当前局势的价值量，动作函数输出每个动作的价值。
这样的更改后，更新更有效率
在这里插入图片描述
加layer normalization

PER（Prionritized Reply）

在这里插入图片描述
如果有一些data非常好，td error比较大的，代表train的不太好，所以给他比较大的几率被采样到

资料

b站
博客

YYYa77
关注
  • 2
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Reinforcement-Learning:使用Q学习，DQN和DDQN进行强化学习
03-29
强化学习 深度学习：优化 创建人：Vithurshan Vijayachandran和Hisho Rajanathan RLearning_NOTEBOOK.ipynb-适用于基本（Q学习）和高级任务（DQN和DDQN）的Jupyter笔记本。 RL_Rport.pdf：报告所有研究结果和评估。 使用以下预训练模型来测试网络，因为重新训练非常耗时。 DQNTrainingModel.h5-测试DQN网络所需的文件 DDQNTrainingModel.h5-测试DDQN网络所需的文件 DDQNPERTrainingModel.h5 =使用PER网络测试DDQN所需的文件
基于LunarLander登陆器的DQN、DDQN、Dueling-DQN、Dueling-DDQ强化学习（含PYTHON工程）
12-21
LunarLander登陆器的DQN、DDQN、Dueling_DQN、Dueling_DDQN实现，使用Tensorflow2.10 教程：https://blog.csdn.net/weixin_44584198/article/details/135111484?spm=1001.2014.3001.5502
[RL]优先经验回放(PER-DQN)原理及代码实现
qq_61897765的博客
03-15 4164
DQN变体
强化学习笔记：DQN和DDQN
weixin_43466027的博客
05-22 3282
本文整理于datawhalechina.github.io的强化学习教程
一、DRL系列-DQN+DDQN（学习笔记）
snowleafzf的博客
01-26 4334
参考 DQN：https://blog.csdn.net/u013236946/article/details/72871858 DDQN：https://www.cnblogs.com/pinard/p/9778063.html Dueling-DQN&DDQN：https://blog.csdn.net/u013236946/article/details/73161586 D...
Python-DQN和DDQN代码对比阅读(14)-ddpn.py
aaaccc444的博客
04-16 1536
Python-DQN和DDQN代码对比阅读 定义ALGO变量来选择算法 使用if语句对两种算法做出选择 为什么DQN算法使用 np.amax（），DDQN算法使用np.argmax（），二者的区别和联系？ one_batch是怎么可以保留终止状态信息的？ 如何判断done_batch是true还是false? DQN和DDQN算法的相同点和不同点？各自的优点和缺点？
Q-learning DQN DDQN 区别
软件工程小施同学 的专栏
09-13 2039
处于一个特定的游戏状态或采取一个行动的未来奖励是不难估计的，难的是你的行动对环境的影响可能是不确定的，这也意味着你得到的奖励也是不确定的。Q-learning是强化学习（RL）的经典算法，简单来说，RL智能体与环境进行交互，如果采取的行动是「好」的，就会获得奖励，否则获得惩罚，强化学习算法的目标是最大化智能体获得的长期奖励总和。一些简单的游戏通过这种方式可以估计出所有的（状态，行动）对的价值，但对于雅达利游戏来说，（状态，行动）的组合数量实在是太多了，想存储在一个简单的表格中基本是无法实现的。
基于pytorch实现Vanilla DQN Double DQN 和Dueling DQN源码.zip
最新发布
05-03
2. Double DQN (DDQN) Vanilla DQN在选择最大Q值时使用了同一网络进行评估和更新，这可能导致过度乐观的估计。Double DQN为解决这个问题，提出了两个策略：评估策略用于选择最大化Q值的动作，而更新策略则用于计算Q...
dqn_zoo:用Pytorch实施各种dqn强化学习
05-03
相关论文DQN DDQN决斗DQN每嘈杂的DQNC51QR DQN智商网络合格质量高品质DQN彩虹MoG DQNNDQFN平均DQNMMD DQN软Q学习软Q学习：基于深度能源策略的强化学习
强化学习算法：此存储库包含大多数基于pytorch实现的经典深度强化学习算法，包括-DQN，DDQN，Dualling Network，DDPG，SAC，A2C，PPO，TRPO。 （更多算法仍在进行中）
01-30
当前实施 深度Q学习网络（DQN） 基本DQN 双Q网络 决斗网络架构 深度确定性策略梯度（DDPG） 优势演员评判（A2C） 信任区域策略梯度（TRPO） 近端政策优化（PPO） 使用克罗内克因素信任区域（ACKTR）的演员评论家 软...
DDQN的Pytorch实现.zip
05-19
使用Pytorch和多项式分布采样实现DDQN算法 DDQN和Nature DQN一样，也有一样的两个Q网络结构。在Nature DQN的基础上，通过解耦目标Q值动作的选择和目标Q值的计算这两步，来消除过度估计的问题。
DDQN信号
02-24
10. **持续学习与改进**：在实际应用中，可能需要不断优化和调整DDQN模型，比如引入更多先进的强化学习技术，如Double DQN、 Dueling DQN 或者 Rainbow DQN等。 以上就是关于“DDQN信号”的相关知识点，具体实现和...
深度强化学习系列(8): Prioritized Experience Replay(PER-DQN)原理及实现
深度强化学习(DeepRL)探索博客
12-23 1万+
论文地址： https://arxiv.org/abs/1511.05952 本论文是由DeepMind操刀，Schaul主导完成的文章，发表于顶会ICLR2016上，主要解决经验回放中的”采样问题“（在DQN算法中使用了经典的”experience replay“，但存在一个问题是其采用均匀采样和批次更新，导致特别少但价值特别高的经验没有被高效的利用）。 还是往常的学习顺序，先摘要和结论 ...
强化学习DQN、DDQN和Dueling DQN的原理介绍与PARL核心代码解析
热门推荐
秋水中的鱼的博客
07-23 2万+
摘要 本文主要介绍DQN算法的基本原理，以及在它基础上改进的DDQN和Dueling DQN，介绍完后会结合对应的PARL代码进行解析说明（PARL 是一个高性能、灵活的强化学习框架）。 三篇相关的论文地址如下，接下去的三个小节会围绕这三篇论文的重点部分进行剖析。 DQN：Human-level Control Through Deep Reinforcement Learning DDQN：Deep Reinforcement Learning with Double Q-learning Dueling
PER
ustc_imcl_fj的博客
11-05 335
DDQN-PER tutorial
深度强化学习总结(DQN,DDQN,Actor-Critic,DDPG)
endlessne的博客
01-10 3751
DQN与Double DQN的区别： DQN： YtDQN=Rt+1+γmaxaQ(St+1,a:θt−)Y^{DQN}_t=R_{t+1}+ \gamma\underset{a}{max}Q(S_{t+1},a:\theta^-_t)YtDQN​=Rt+1​+γamax​Q(St+1​,a:θt−​). 即模型输出的为Q值,然后根据Q值去计算 YDQNY^{DQN}YDQN. Doube DQN： YtDoubleDQN=Rt+1+γQ(St+1,argmaxaQ(St+1,a:θt);θt−)Y^{D
dueling-dqn
war3gu的博客
05-28 711
在许多基于视觉的感知的DRL任务中，不同的状态动作对的值函数是不同的，但是在某些状态下，值函数的大小与动作无关。根据以上思想，Wang等人提出了一种竞争网络结构（dueling network）作为DQN的网络模型。 如上图所示，第一个模型是一般的DQN网络模型，即输入层接三个卷积层后，接两个全连接层，输出为每个动作的Q值。 而（第二个模型）竞争网络（dueling net）将卷积层提取的抽象特征...
【强化学习】DQN、Double DQN、Dueling DQN、Per DQN、NoisyDQN 学习笔记
HYY的博客
01-17 1606
Dueling DQN修改的是网络结构，算法中在输出层之前分流（ dueling ）出了两个层，如图所示，一个是优势层，用于估计每个动作带来的优势，输出维度为动作数一个是价值层，用于估计每个状态的价值，输出维度为 1。在传统的DQN中，选择和评估动作的Q值使用相同的网络，这可能导致在某些状态下对某些动作的Q值被高估，从而影响学习的稳定性和最终策略的质量。经验回放：通过存储代理的经验（状态，动作，奖励，新状态）在回放缓存中，并在训练时从中随机抽样，这样做可以打破数据间的时间相关性，提高学习的稳定性和效率。
强化学习之DQN
君子不器
11-15 294
主要的组件：TD，Q_leaning，神经网络表示Q函数，贝尔曼方程。 from __future__ import print_function import tensorflow as tf import numpy as np import cv2 import sys sys.path.append("game/") import game.wrapped_flappy_bird as game import random #游戏名 GAME = 'flappy bird' ACTIONS = 2
值函数强化学习-DQN、DDQN和Dueling DQN算法公式推导分析
11-08
DQN算法是一种基于Q-learning的深度强化学习算法，其目标是学习一个Q函数，使得该函数能够最大化累积奖励。DDQN算法是对DQN算法的改进，通过解决DQN算法中过高估计Q值的问题，提高了算法的性能。Dueling DQN算法则是在DDQN算法的基础上，提出了一种新的神经网络结构，使得算法的学习效率更高。 下面是DQN算法的公式推导分析： 1. Q-learning的更新公式为：$Q(s_t,a_t) \leftarrow Q(s_t,a_t) + \alpha(r_{t+1} + \gamma \max_{a} Q(s_{t+1},a) - Q(s_t,a_t))$ 2. DQN算法使用了深度神经网络来逼近Q函数，将更新公式改为：$Q(s_t,a_t) \leftarrow Q(s_t,a_t) + \alpha(r_{t+1} + \gamma \max_{a} Q(s_{t+1},a; \theta^-) - Q(s_t,a_t; \theta))$，其中$\theta$为当前网络的参数，$\theta^-$为目标网络的参数，$\max_{a} Q(s_{t+1},a; \theta^-)$表示在下一个状态$s_{t+1}$中，选择动作$a$所得到的最大Q值。 3. DDQN算法在DQN算法的基础上，使用了双网络结构，解决了DQN算法中过高估计Q值的问题。更新公式为：$Q(s_t,a_t) \leftarrow Q(s_t,a_t) + \alpha(r_{t+1} + \gamma Q(s_{t+1},\arg\max_{a} Q(s_{t+1},a; \theta); \theta^-) - Q(s_t,a_t; \theta))$，其中$\arg\max_{a} Q(s_{t+1},a; \theta)$表示在下一个状态$s_{t+1}$中，选择动作$a$所得到的最大Q值对应的动作。 4. Dueling DQN算法在DDQN算法的基础上，提出了一种新的神经网络结构，使得算法的学习效率更高。具体来说，Dueling DQN算法的输出包括两个分支，分别是该状态的状态价值V(标量)和每个动作的优势值A(与动作空间同维度的向量)。网络结构如下图所示： [Dueling DQN网络结构](https://img-blog.csdn.net/20170727145756345?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvY2hlbnhpYW9fYmFpZHUx/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/q/80) 更新公式为：$Q(s_t,a_t) \leftarrow V(s_t) + (A(s_t,a_t) - \frac{1}{|\mathcal{A}|} \sum_{a} A(s_t,a))$，其中$V(s_t)$表示状态$s_t$的价值，$A(s_t,a_t)$表示在状态$s_t$下选择动作$a_t$的优势值，$\frac{1}{|\mathcal{A}|} \sum_{a} A(s_t,a)$表示所有动作的平均优势值。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值