DQN若干种变型及实现

最新推荐文章于 2023-08-29 21:55:38 发布
最新推荐文章于 2023-08-29 21:55:38 发布
阅读量4.4k 收藏 21
点赞数 1
分类专栏： machine-learning 强化学习基础 文章标签： DQN pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014297722/article/details/82947133
版权
本文探讨了DQN的不同变体，包括Nature DQN、Double DQN、Prioritized Experience Replay、Dueling DQN和DRQN。分别解释了它们的设计原理，如Nature DQN的延迟目标网络更新、Double DQN的选择与评估分离、PER的优先级重放策略，以及Dueling DQN的动作优势和值函数分离。此外，还提到了DRQN如何结合LSTM处理部分观测状态，并链接到相关的代码实现和资料。
摘要由CSDN通过智能技术生成

测试环境 gym cartPole-vo

代码实现

https://github.com/cuixuage/Reinforcement_Learning/tree/master/Pytorch_basic

1.Nature DQN
延迟target NetWork更新
相当于用前期一定步数的reward来计算当前真实值

2.Double DQN

为什么我测试效果不如DQN好?

https://blog.csdn.net/u010214210/article/details/53791315
https://zhuanlan.zhihu.com/p/38434432
目的:selection和evaluation分离,减少overestimation
如果Q函数估值不准，那么每次取max会引起高估，因此用两个Q网络来解决这个问题，一个网络选择最优的action，另一个网络对其估值
Current Q_NN is used to select actions
Older Q_NN is used to evaluate actions(固定次数回合后,delayed θ更新predict NN)

<
最低0.47元/天 解锁文章
cuixuange
关注
  • 1
    点赞
  • 踩
  • 21
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Rainbow：集大成者的DQN变体
禅与计算机程序设计艺术
04-27 817
深度强化学习（Deep Reinforcement Learning，DRL）自诞生以来，便凭借其强大的学习能力和广泛的应用场景，成为了人工智能领域的研究热点。在众多DRL算法中，深度Q网络（Deep Q-Network，DQN）因其简洁的结构和高效的性能，备受关注。然而，DQN也存在着一些局限性，例如过估计Q值、难以处理高维状态空间等问题。为了克服这些不足，研究人员们提出了许多DQN的变体，其中Rainbow便是集大成者之一。
DQN变体：DDQN
m0_37663944的博客
12-16 818
这篇文章，主要讨论DDQN。DQN的变体，它主要对yjy_jyj​的计算进行了解耦。 目标Q值的计算 在以前的DQN中yjy_jyj​的计算公式如下： yj=Rj+γmaxa′Q′(ϕ(Sj′),Aj′,w′)y_j = R_j+γmax_{a^′}Q^′(ϕ(S^′_j),A^′_j,w^′)yj​=Rj​+γmaxa′​Q′(ϕ(Sj′​),Aj′​,w′) 其中Aj′A^′_jAj′​是通过...
DQN的一些变体（改进）总结，如：Double DQN、Prioritized Experience Replay DQN等
lijieling123的博客
04-01 2058
王者荣耀最早也是基于DQN来实现智能体，后来改成PPO 引入Double DQN的前言 DQN总共有两个网络，一个是实时更新的评估网络，一个是阶段性更新的目标网络 目标Q值（即下个时刻的累积价值）的计算主要依赖目标网络，通过传入下个状态S(t+1)，来获取S(t+1)状态下最大的Q值以及对应的动作，从而完成Q函数的更新 但是无论是DQN还是QLearning，在计算价值函数的时候都采用了贪心策略，即每次都对（状态-动作）的实际价值进行了过高的估计，最终会影响到我们最后的决策 因此引入Double DQN，通
DQN变体：Nature DQN
m0_37663944的博客
12-16 477
这篇文章主要讨论DQN的变体，Nature DQN。 解决问题 它主要解决了DQN算法的一个问题，也就是相关依赖问题，收敛速度比较慢。 还记得计算当前目标QQQ值yjy_jyj​的公式是： yj={Rj  is_endj is trueRj+γmaxa′Q(ϕ(Sj′),Aj′,w)  is_endj is false...
DQN变体：Dueling DQN
m0_37663944的博客
12-17 948
本篇文章主要讲解Dueling DQN的结构。 解决问题 对比之前的DQN,Dueling DQN主要对结构进行了优化。Dueling DQN考虑将QQQ网络分成两部分，第一部分是仅仅与状态S有关，与具体要采用的动作AAA无关，这部分我们叫做价值函数部分，记做V(S,w,α)V(S,w,α)V(S,w,α),第二部分同时与状态状态SSS和动作AAA有关，这部分叫做优势函数(Advantage Fu...
dqn_DQN算法_DQN_DQN实现_
10-02
深度Q学习（Deep Q-Network，简称DQN）是强化学习领域的一种重要算法，它结合了Q学习与深度学习的优势，解决了传统Q学习在处理高维状态空间时的困难。DQN算法由DeepMind在2015年的Nature论文中首次提出，它在Atari ...
强化学习DQN实现倒立摆游戏
12-12
# Inverted-Pendulum 强化学习大作业1 倒立摆 包括Q值迭代、SARSA、DQN三种算法。 game的my_Pendulum是按gym的环境定义的我自己的倒立摆环境，其参数与game的Pendulum-v0不同
pytorch-DQN:DQN的Pytorch实现
04-14
pytorch-DQN DQN的Pytorch实现DQN 最初的Q学习使用表格方法（有关更多详细信息和实现，请参见 ）来解决，但是，表格Q学习的问题在状态增长时出现因为table不足以存储环境中给定的数亿个状态。 例如，环境为210x180...
DQN实现的两种版本
03-17
深度强化学习（Deep Reinforcement Learning, DQN）是人工智能领域的一种重要算法，它结合了深度学习的表征能力与强化学习的决策制定过程。在DQN的实现中，经常会出现是否使用`stop_gradient`这一关键操作，这直接...
基于DQN的项目实现.zip
08-25
**基于DQN的强化学习项目实现** 在人工智能领域，强化学习是一种重要的机器学习方法，它通过与环境的交互来学习最优策略。深度强化学习（Deep Reinforcement Learning, DQN）是强化学习的一个分支，它结合了深度...
DeepMind提出Rainbow：整合DQN算法中的六种变体
机器之心
10-24 7323
「AlphaGo 之父」David Sliver 等人最近探索的方向转向了强化学习和深度 Q 网络（Deep Q-Network）。在 DeepMind 最近发表的论文中，研究人员整合了 DQN 算法中的六种变体，在 Atari 游戏中达到了超越以往所有方法的表现。 大规模强化学习（RL）在复杂连续决策问题中最成功的方法是 Deep Q-Network 算法（DQN; Mnih et a
【强化学习】DQN及其变体网络的原理讲解和代码实现
最新发布
Henry_Zhao10的博客
08-29 2285
本文总结了强化学习中DQN网络及其变体的算法原理和代码实现，包括Double DQN，Dueling DQN等
【百度飞桨强化学习7日打卡营】DQN解决MountainCar 不同 超参数“学习率”调参
bigdog2019的博客
06-27 1079
DQN解决MountainCar 不同 超参数“学习率”情况下的比较 【百度飞桨强化学习7日打卡营】作业3 DQN解决MountainCar 针对作业里面的超参数 “LEARNING_RATE” 选择进行了实际测试。 根据网络上所说的一些经验 一般学习率大的情况神经网络“学习”的会更快但是到一定程度后会难以继续提高成绩。学习率小则成绩提高慢但会持续提高。 实际动手测试发现在其他参数完全相同的情况下学习率的选择对成绩的影响并非那么简单。这里我们LEARNING_RATE选择了从小到大0.001, 0.002
DQN+LSTM——DRQN的简单解读与实现
m0_63642362的博客
11-17 7860
简单讲解DQRN论文及其基本原理，并用paddle实现
【无标题】
sinat_50757558的博客
03-27 563
基于LSTM预测和深度强化学习的任务卸载在物联网中的高效边缘计算 摘要 在物联网边缘计算中，任务卸载会导致额外的传输延迟和传输能耗。为了降低任务卸载所需的资源成本，提高服务器资源的利用率，本文将任务卸载问题建模为一个成本最小化的联合决策问题，该问题综合了处理延迟、处理能耗和延迟敏感任务的任务抛出率。针对上述任务卸载决策问题，提出了基于深度强化学习（DRL）和长短时记忆（LSTM）网络的在线预测卸载（OPO）算法。在模型的训练阶段，该算法利用LSTM算法实时预测边缘服务器的负载，有效地提高了DRL算法在卸载过
论文阅读（DRQN）：Deep Recurrent Q-Learning for Partially Observable MDPs
weixin_45459911的博客
03-14 1270
简单概括该文： a、创新之处：提出QRQN结构：DQN+LSTM b、创新原因：DQN有两个缺陷——1、经验池内存有限制；2、每个决策点都需要完整的游戏界面。 c、改动措施：将DQN的第一个全连接层换成LSTM网络 Introduction： DQN只取了过去四帧（即四张图）作为输入，而如果游戏需要四帧以上的记忆，则将出现部分可观测马尔科夫性（Partially-Observable Markov...
强化学习学习总结（四）——DQN
Raoodududu的博客
10-09 2191
一、def         如果我们的state与action很多，就如打砖块游戏，每个时间不同的砖块排列跟剩余都是不同的state，就会导致维度灾难。使用神经网络来 估算 这个 state 的值, 这样就不需要一张表了. 更新方式 二、算法更新 1、初始化replay memory D 容量为N  2、用一个深度神经网络作为Q值网络，初始化权重参数  3、设定游戏片段总数M  4...
神经网络类型介绍 ANN FNN RNN LSTM GAN DQN
炼丹炉里有煤灰
11-08 5239
ANN 简单单元神经网络 ANN是最基础的神经网络。是指由大量的处理单元(神经元) 互相连接而形成的复杂网络结构，是对人脑组织结构和运行机制的某种抽象、简化和模拟。 FNN 全联接神经网络 fnn指所有的节点都相互连接，同层节点不连接的网络结构。 RNN 循环神经网络 rnn具有时序性，即通过当前的输入值和之前的预测参数，来影响当前的预测值。适合用来做翻译，语音等需求。 LSTM 长短...
DQN和DDQN原理、实现及应用
05-10
DQN和DDQN都是强化学习中的经典算法，用于解决深度强化学习中的探索-利用困境问题，其原理和实现方式有一些相似之处，但也存在一些差异。下面我会分别介绍它们的原理、实现和应用。 DQN（Deep Q-Network） DQN是一种基于Q-learning的深度强化学习算法，其主要思想是通过神经网络来学习Q值函数，从而实现对环境的控制。其主要的优点是可以处理大规模的离散状态和动作空间，同时还可以处理连续状态和动作空间。 DQN的实现过程主要包括以下步骤： 1. 定义神经网络结构：通常采用卷积神经网络（CNN）或全连接神经网络（FCN）作为DQN的模型，神经网络的输入是状态，输出是每个动作的Q值。 2. 选择动作：根据当前状态和Q值函数，选择一个动作。 3. 执行动作：执行所选的动作，观察环境的反馈。 4. 记录经验：将当前状态、所选动作、环境反馈和下一个状态存储起来，作为经验。 5. 训练网络：从经验池中随机采样一批经验，计算损失函数并更新网络参数。损失函数通常采用均方误差（MSE）或Huber误差。 6. 更新目标网络：定期更新目标网络，目的是减少目标Q值与实际Q值之间的误差。 DQN算法的应用非常广泛，例如在游戏AI、机器人控制、自动驾驶等领域都得到了广泛的应用。 DDQN（Double Deep Q-Network） DDQN是DQN的改进版，主要是为了解决DQN在处理高维状态空间时容易出现过度估计Q值的问题。DDQN采用了一种双Q学习的方式，通过使用一个网络选择动作，另一个网络评估这个动作的Q值，从而减少了过度估计。 DDQN算法的实现过程与DQN类似，只是在计算Q值时，使用的是评估网络（eval network）而不是选择网络（target network），从而避免了过度估计。 DDQN算法同样具有广泛的应用场景，例如在游戏AI、机器人控制、自动驾驶等领域都得到了广泛的应用。 总结 DQN和DDQN都是深度强化学习中的经典算法，其原理和实现方式有一些相似之处，但也存在一些差异。DQN主要采用单个Q网络来选择动作和评估Q值，而DDQN通过使用两个网络来评估Q值，从而减少了过度估计的问题。在应用方面，这两种算法都得到了广泛的应用，例如在游戏AI、机器人控制、自动驾驶等领域。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值