深度理解DQN算法和DDQN算法

最新推荐文章于 2025-04-06 16:18:10 发布
最新推荐文章于 2025-04-06 16:18:10 发布
阅读量1.1k 收藏 13
点赞数 11
文章标签： 算法 python pygame conda pip pandas
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_53537053/article/details/135173280
版权

最近在回顾之前学过的DQN算法，对算法的超参数更新和算法的处理过程还是有些模糊的地方，所以今天花点时间把弄清楚！

首先，详细说一下DQN这个算法：

DQN算法是有两个价值网络组成的，一个是当前价值网络Qw(s,a),另一个是目标价值网络Qw-(s,a),这两个神经网络的超参数一开始的一样，但在运行时会不断的覆盖和更新，下面我们来具体分析算法运行的每一步：

1、首先 将两个价值网络的超参数w和w-初始化成一样的；

2、接下来进入训练过程：

        1、根据当前网络Qw（s,a）,采用贪恋算法，每次选择Q值最大的动作 at 进行移动;

        2、执行动作 at 后，获得了回报 rt ，环境状态变为 st+1；

        3、将元组（st , at , rt, st+1）,存储在缓冲队列中；（一定要分清楚，我们是在 st 的状态下采取了 at 的动作，变成了一个新状态 st+1，得到的奖励是 rt ）

        4、当缓存队列中的数据足够多时，我们开始对其中的数据进行采样，取出N个元组来；

        5、对每一个数据,使用目标网络计算 yi = ri + maxQw-(si+1，a)；(这里算的是当前所处状态下的奖励ri，➕si+1状态下在Qw-这个网络下的最大价值的动作，第一步si到si+1是智能体实际走出来的，但是后面在si+1状态下执行的a动作是智能体试探的，其实他并没有走出这一步，这也是后面我们，不断迭代网络超参数的关键所在，什么时候智能体走一步的价值等于其走一步➕预测一步的价值时，说明网络已经差不多更新好了)

        6、用TD算法，建立损失函数：L=1/n 求和（yi - Qw(s,a)）平方；

        7、每C步更新一下，目标网络的超参数，其实很简单就是简单的复制w就可以了！

综上，我们的目的很简单，希望求得一个价值网络可以指导智能体去在环境中做出最有价值的动作A，当智能体走一步的价值＝走一步价值➕下一步预测价值的时候，得到的网络就是我们需要的价值网络Q了；

接下来介绍一下DDQN算法：

问题一：首先，第一个问题是，为什么会有DDQN这个算法呢？是DQN不好吗？

答：肯定是DQN算法有缺点啦，因为普通的DQN算法通常会导致对Q值的高估，原因也很简单，比如说：我们考虑一个特殊的场景：在状态 s' 下所有的动作的Q值都是0，此时价值为 r+0 ,但是由于神经网络拟合的误差通常会出现某些动作的估计有正误差的情况，通俗的来说就是，可能会误认为有一个动作价值他不为0的，实际上他是0，这就导致了我们对这个一个状态的动作价值做出了高估的结果，因为你如果这个状态的Q值高估了，下一个状态的Q值也会高估，他们是连串的 r + Qw-(si+1,a)的嘛！所以会导致一连串的对Q值高估的问题，，，这是非常严重的一个情况，会导致我们DQN算法无法工作的现象发生。

问题二：如何解决？

我们可以把DQN的第五步中的 yi = ri + maxQw-(si+1，a) 中的maxQw-(si+1，a)部分更改为maxQw-(si+1，argmaxQw(si+1,ai+1)), 其实就是将原来的下一步动作由目标网络选取最佳动作换成了由当前网络选取最佳的动作，为什么这样就可以减小高估问题呢？因为你要清楚目标网络的超参数更新是比当前网络要慢的，如果以前高估了，还用以前高估的网络做动作的选择任然会高估，但是如果我们用新网络做出动作的选择可能就会一步一步减小这个高估的影响！

现在终于彻底明白了，DQN 和 DDQN之间的区别啦！！！！！！

图解DQN，DDQN，DDPG网络
Echooo的博客
04-03 1万+
图解DQN，DDQN，DDPG网络1. DQN1.1 网络结构1.2 产生experience的过程1.3 Q网络的更新流程2. DDQN2.1 网络结构2.2 产生experience的过程2.3 Q网络的更新流程3. DDPG3.1 网络结构3.2 产生experience的过程3.3 Actor网络的更新流程3.4 Critic网络的更新流程 1. DQN 深度Q网络(Deep Q Network)适用于动作离散的强化学习任务 1.1 网络结构 深度Q网络有两个网络结构，如下所示： Q网络输入是状态
深度强化学习总结(DQN,DDQN,Actor-Critic,DDPG)
endlessne的博客
01-10 6023
DQN与Double DQN的区别： DQN： YtDQN=Rt+1+γmaxaQ(St+1,a:θt−)Y^{DQN}_t=R_{t+1}+ \gamma\underset{a}{max}Q(S_{t+1},a:\theta^-_t)YtDQN​=Rt+1​+γamax​Q(St+1​,a:θt−​). 即模型输出的为Q值,然后根据Q值去计算 YDQNY^{DQN}YDQN. Doube DQN： YtDoubleDQN=Rt+1+γQ(St+1,argmaxaQ(St+1,a:θt);θt−)Y^{D
强化学习DDQN与DQN深度解析
weixin_49192842的博客
08-31 2279
而经验回放池中存储着大量的各个状态、各个动作，并且Q网络和目标网络是取一批数据训练，而不是一条，从一开始代理所采取的所有行动和观察都是存储的，然后随机从这个经验回放池中选择大量的样本，这包含足够的多样性，从旧的和更新的样本，让网络学习的权重，概括到所有的场景。经验回放我理解为一个池子，这个池子中存放着大量与环境交互后的数据，当网络开始训练时，从池子中取一批数据，训练后更新了数据又放回池子，过段时间又取出、放回...这些数据也即与环境交互并网络训练后的经验，所以称经验回放。3、两个网络输出的结果分别是什么?
强化学习DQN（Deep Q-Learning）、DDQN（Double DQN）
weixin_51602120的博客
02-01 3076
强化学习Deep Q-Learning（DQN） 、Double DQN
初学强化学习-DDQN
最新发布
m0_65472749的博客
04-06 364
DQN的动作选择和Q值评估都是基于目标网络，导致最大化操作会偏向高估某些动作的Q值。2.经验回放 存储转移样本：将每个交互的转移样本 (s,a,r,s′,done) 存入回放缓冲区。终止状态处理：若s′是终止状态（done=True），则Y=r。A[初始化主网络和目标网络] --> B[与环境交互收集样本]每隔C 步将主网络的参数复制到目标网络。E --> F[目标网络计算目标Q值]F --> G[计算损失并更新主网络]D --> E[主网络选择动作a’]G --> H[定期同步目标网络]
强化学习笔记：DQN和DDQN
weixin_43466027的博客
05-22 3724
本文整理于datawhalechina.github.io的强化学习教程
Python-DQN和DDQN代码对比阅读(14)-ddpn.py
aaaccc444的博客
04-16 1896
Python-DQN和DDQN代码对比阅读 定义ALGO变量来选择算法 使用if语句对两种算法做出选择 为什么DQN算法使用 np.amax（），DDQN算法使用np.argmax（），二者的区别和联系？ one_batch是怎么可以保留终止状态信息的？ 如何判断done_batch是true还是false? DQN和DDQN算法的相同点和不同点？各自的优点和缺点？
dqn算法DDQN算法
02-17
### DQN算法与DDQN算法的区别、原理及应用场景 #### 一、DQN算法概述 DQN（Deep Q-Network），即深度Q网络，是一种利用深层神经网络来近似Q值的方法[^3]。此方法旨在通过学习策略使得累积奖励最大化，在给定的状态...
深度强化学习DQN车间排产调度优化算法+gym环境（python代码）
01-15
本文档提供了基于深度强化学习DQN算法的车间排产调度优化算法的Python实现代码。这套代码基于gym环境进行设计，gym是一个用于开发和比较强化学习算法的工具包，提供了大量的模拟环境。在这个环境中，可以通过定义的...
深度强化学习中Double DQN算法（Q-Learning+CNN）的讲解及在Asterix游戏上的实战（超详细 附源码）
showswoller的博客
11-26 1943
深度强化学习中Double DQN算法（Q-Learning+CNN）的讲解及在Asterix游戏上的实战（超详细 附源码）
Q-learning DQN DDQN 区别
软件工程小施同学 的专栏
09-13 2471
处于一个特定的游戏状态或采取一个行动的未来奖励是不难估计的，难的是你的行动对环境的影响可能是不确定的，这也意味着你得到的奖励也是不确定的。Q-learning是强化学习（RL）的经典算法，简单来说，RL智能体与环境进行交互，如果采取的行动是「好」的，就会获得奖励，否则获得惩罚，强化学习算法的目标是最大化智能体获得的长期奖励总和。一些简单的游戏通过这种方式可以估计出所有的（状态，行动）对的价值，但对于雅达利游戏来说，（状态，行动）的组合数量实在是太多了，想存储在一个简单的表格中基本是无法实现的。
DQN_DQN算法_
09-28
各种DQN的变体，包含double Q
Reinforcement-Learning:使用Q学习，DQN和DDQN进行强化学习
03-29
强化学习 深度学习：优化 创建人：Vithurshan Vijayachandran和Hisho Rajanathan RLearning_NOTEBOOK.ipynb-适用于基本（Q学习）和高级任务（DQN和DDQN）的Jupyter笔记本。 RL_Rport.pdf：报告所有研究结果和评估。 使用以下预训练模型来测试网络，因为重新训练非常耗时。 DQNTrainingModel.h5-测试DQN网络所需的文件 DDQNTrainingModel.h5-测试DDQN网络所需的文件 DDQNPERTrainingModel.h5 =使用PER网络测试DDQN所需的文件
dqn_DQN算法_DQN_DQN实现_
10-02
dqn算法，深度Qlearning算法 实现，普通实现，基本完成RL任务
强化学习DQN、DDQN和Dueling DQN的原理介绍与PARL核心代码解析
热门推荐
秋水中的鱼的博客
07-23 3万+
摘要 本文主要介绍DQN算法的基本原理，以及在它基础上改进的DDQN和Dueling DQN，介绍完后会结合对应的PARL代码进行解析说明（PARL 是一个高性能、灵活的强化学习框架）。 三篇相关的论文地址如下，接下去的三个小节会围绕这三篇论文的重点部分进行剖析。 DQN：Human-level Control Through Deep Reinforcement Learning DDQN：Deep Reinforcement Learning with Double Q-learning Dueling
DQN、DDQN、Dueling DQN、PER DQN
a999999123的博客
04-29 3049
DQN DDQN（Double DQN） DQN中的q值总是被高估了 DQN中使用一个神经网络Q，计算每一个action的的Q值，选择Q值最大的action加上rt DDQN中使用两个神经网络Q、Q’，使用Q计算action的Q值，选择Q值最大的action，使用Q’计算被选择action的Q’值。 Dueling DQN 相比于DQN只更改了网络的架构 DQN中的Q是直接输出一个Q值 Queling DQN是将输出分为价值函数和动作函数，价值函数输出一个实数，表示对当前局势的价值量，动作函数输出每
DQN算法
weixin_40945354的博客
08-07 405
DQN通过学习在特定状态下执行每个操作的值来学习给定环境的最佳策略。这些值称为Q值
dqn和ddqn伪代码
03-04
### DQN 和 DDQN 的伪代码 #### DQN 算法伪代码 DQN（Deep Q-Network）通过引入经验回放机制和目标网络来提高学习稳定性。 ```python Initialize replay memory M to capacity N Initialize action-value function Q with random weights θ Initialize target network Q' with weights θ' ← θ for episode = 1, E do Initialize sequence s_1 = {x_1} and preprocessed sequenced φ_1 = φ(s_1) for t = 1, T do With probability ε select a random action a_t otherwise select a_t = argmax_a Q(φ(s_t),a;θ) Execute action a_t in emulator and observe reward r_t and image x_{t+1} Set s_{t+1} = s_t,a_t,x_{t+1} and preprocess φ_{t+1}=φ(s_{t+1}) Store transition (φ_t,a_t,r_t,φ_{t+1}) in M Sample random minibatch of transitions (φ_j,a_j,r_j,φ_{j+1}) from M Set y_j = r_j for terminal j, r_j + γ max_a' Q'(φ_{j+1},a';θ') for non-terminal j. Perform gradient descent step on (y_j - Q(φ_j,a_j;θ))^2 w.r.t parameters θ Every C steps reset Q' = Q end for end for ``` 此版本的 DQN 使用固定频率更新目标网络权重[^1]。 #### DDQN 算法伪代码 DDQN（Double Deep Q-Network）改进了 DQN 中的目标值估计方法，减少了高估问题的影响。 ```python Initialize replay memory M to capacity N Initialize action-value function Q with random weights θ Initialize target network Q' with weights θ' ← θ for episode = 1, E do Initialize sequence s_1 = {x_1} and preprocessed sequenced φ_1 = φ(s_1) for t = 1, T do With probability ε select a random action a_t otherwise select a_t = argmax_a Q(φ(s_t),a;θ) Execute action a_t in emulator and observe reward r_t and image x_{t+1} Set s_{t+1} = s_t,a_t,x_{t+1} and preprocess φ_{t+1}=φ(s_{t+1}) Store transition (φ_t,a_t,r_t,φ_{t+1}) in M Sample random minibatch of transitions (φ_j,a_j,r_j,φ_{j+1}) from M Set y_j = r_j for terminal j, r_j + γ Q'(φ_{j+1}, argmax_a Q(φ_{j+1},a;θ); θ') for non-terminal j. Perform gradient descent step on (y_j - Q(φ_j,a_j;θ))^2 w.r.t parameters θ Every C steps reset Q' = Q end for end for ``` 在上述两种算法中，主要区别在于如何计算目标 Q 值。DDQN 利用行为网络选择动作而由目标网络评估该动作的价值，从而减少价值函数的过度估计倾向。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值