强化学习系列（3）：深度Q网络的改进（Double DQN、Dueling DQN等）

于 2025-03-13 16:01:27 发布
阅读量740 收藏 21
点赞数 11
分类专栏： 强化学习系列 文章标签： 人工智能 深度学习 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Azperk/article/details/146233773
版权

强化学习系列（3）：深度Q网络的改进（Double DQN、Dueling DQN等）

一、Double DQN原理

解决的问题

在传统的DQN中，由于目标Q值的计算方式，容易出现对Q值的高估问题。这是因为在选择动作和计算目标Q值时都使用了目标网络中对Q值的估计，可能会导致选择到被高估的动作，从而使得训练不稳定，最终影响策略的学习效果。

改进思路

Double DQN通过解耦动作选择和动作评估这两个过程来缓解高估问题。具体来说，它在计算目标Q值时，利用当前的训练网络（也就是策略网络）来选择动作，而利用目标网络来评估该动作对应的Q值。这样就使得选择动作和评估动作来自不同的网络估计，减少了对Q值的过度乐观估计。

算法伪代码对比

# 传统DQN伪代码（关键部分）
for each step in episode:
    action = choose_action(state, policy_net)
    next_state, reward, done = take_action(action)
    q_target = reward + gamma * max_a(Q_target(next_state, a))
    update(policy_net, q_target)

# Double DQN伪代码（关键部分）
for each step in episode:
    action = choose_action(state, policy_net)
    next_state, reward, done = take_action(action)
    best_action = choose_action(next_state, policy_net)
    q_target = reward + gamma * Q_target(next_state, best_action)
    update(policy_net, q_target)

代码示例（Python基于之前DQN代码修改）

# 在计算目标Q值部分进行修改
for episode in range(num_episodes):
    state, _ = env.reset()
    state = torch.tensor(state, dtype=torch.float).unsqueeze(0)
    done = False
    while not done:
        # 选择动作等过程不变（省略部分重复代码）
        # 计算目标Q值
        best_action = torch.argmax(policy_net(next_state)).item()
        q_targets = rewards + gamma * target_net(next_state)[0][best_action].unsqueeze(0).unsqueeze(1) * (1 - dones)
        # 后续计算损失、更新网络等步骤不变（省略部分重复代码）

二、Dueling DQN原理

结构特点

Dueling DQN在网络结构上进行了创新，它将Q值函数分解为状态价值函数（V(s)）和动作优势函数（A(s,a)）两部分，即 (Q(s,a) = V(s) + A(s,a) - \frac{1}{|A|} \sum_{a’} A(s,a’))。网络中会有两个分支分别输出状态价值和动作优势，然后通过特定的聚合方式得到最终的Q值估计。

优势体现

这种分解方式能够更好地学习状态的内在价值，尤其是在一些状态下不同动作的价值差异不大时，通过分离状态价值和动作优势可以更准确地捕捉到每个动作的相对优势，使得网络对价值的估计更加灵活，提高学习效率和最终策略的质量。

网络结构代码示例（基于之前DQN网络修改）

import torch
import torch.nn as nn

class DuelingDQN(nn.Module):
    def __init__(self, input_size, output_size):
        super(DuelingDQN, self).__init__()
        self.fc1 = nn.Linear(input_size, 64)
        self.fc2 = nn.Linear(64, 64)
        # 状态价值分支
        self.fc_value = nn.Linear(64, 1)
        # 动作优势分支
        self.fc_advantage = nn.Linear(64, output_size)

    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = torch.relu(self.fc2(x))
        value = torch.relu(self.fc_value(x))
        advantage = torch.relu(self.fc_advantage(x))
        # 聚合得到Q值
        q_value = value + advantage - torch.mean(advantage, dim=1, keepdim=True)
        return q_value

三、Double DQN与Dueling DQN结合（Dueling Double DQN）

结合思路

将Double DQN的改进思想（解耦动作选择和评估以减少高估）和Dueling DQN的结构优势（分离状态价值和动作优势）相结合，能够在避免高估Q值的同时，更精准地对状态和动作价值进行学习，进一步提升强化学习算法在复杂环境下的性能。

代码实现（整合前面的修改）

# 定义Dueling Double DQN网络结构（结合前面的代码思路）
class DuelingDoubleDQN(nn.Module):
    def __init__(self, input_size, output_size):
        super(DuelingDoubleDQN, self).__init__()
        self.fc1 = nn.Linear(input_size, 64)
        self.fc2 = nn.Linear(64, 64)
        self.fc_value = nn.Linear(64, 1)
        self.fc_advantage = nn.Linear(64, output_size)

    def forward(self, x):
        x = torch.relu(self.fc1(x))
        x = torch.relu(self.fc2(x))
        value = torch.relu(self.fc_value(x))
        advantage = torch.relu(self.fc_advantage(x))
        q_value = value + advantage - torch.mean(advantage, dim=1, keepdim=True)
        return q_value

# 训练过程中结合Double DQN的动作选择和评估方式来计算目标Q值
for episode in range(num_episodes):
    state, _ = env.reset()
    state = torch.tensor(state, dtype=torch.float).unsqueeze(0)
    done = False
    while not done:
        action = torch.argmax(policy_net(state)).item()
        next_state, reward, terminated, truncated, _ = env.step(action)
        done = terminated or truncated
        next_state = torch.tensor(next_state, dtype=torch.float).unsqueeze(0)
        reward = torch.tensor([reward]).unsqueeze(0)

        # 结合Double DQN选择动作评估方式
        best_action = torch.argmax(policy_net(next_state)).item()
        q_targets = reward + gamma * target_net(next_state)[0][best_action].unsqueeze(0).unsqueeze(1) * (1 - done)

        # 后续计算损失、更新网络等步骤不变（省略部分重复代码）

四、不同改进版本DQN在实际环境中的性能对比

实验设置

选择几个典型的Atari游戏环境（如Breakout、Pong、SpaceInvaders等），分别使用传统DQN、Double DQN、Dueling DQN以及Dueling Double DQN进行训练，设置相同的训练轮数、超参数（如学习率、折扣因子、经验回放缓冲区大小等），观察它们在每个游戏中的平均得分、收敛速度以及最终策略的稳定性等指标。

实验结果分析

  • 平均得分方面：在大部分游戏中，Dueling DQN和Dueling Double DQN往往能取得比传统DQN更高的平均得分，说明其对状态和动作价值的更合理估计有助于找到更好的策略，获得更高的奖励。而Double DQN相较于传统DQN在一些容易出现高估问题的游戏中，平均得分也会有所提升，证明了其缓解高估的有效性。
  • 收敛速度方面：Dueling DQN及其与Double DQN结合的版本通常收敛速度更快，因为它们能更准确地捕捉价值信息，更快地调整网络参数以逼近最优策略，相比之下传统DQN可能需要更多的训练轮次才能达到较好的效果。
  • 策略稳定性方面：Double DQN由于解决了高估问题，使得训练过程更加稳定，策略不会因为过度高估某些动作而出现大幅波动。Dueling DQN通过合理的价值分解也让策略的调整更加平稳，而两者结合的Dueling Double DQN在这方面表现得更为出色。

五、常见问题及应对策略

1. 结合多种改进后出现训练过拟合怎么办？

  • 正则化手段：可以添加L1或L2正则化项到损失函数中，约束网络参数的大小，防止网络过度拟合训练数据。例如在PyTorch中，对于优化器可以这样设置：
optimizer = torch.optim.Adam(policy_net.parameters(), lr=learning_rate, weight_decay=0.001)  # weight_decay就是L2正则化系数
  • 增加数据多样性：尝试采用更多样的探索策略，扩大经验回放缓冲区的容量，或者对环境进行一些随机化的扰动（如在Atari游戏中对图像进行随机的微小变换等），让智能体接触到更多不同的状态，减少过拟合现象。

2. 如何选择适合具体场景的改进版本？

  • 分析高估问题影响程度：如果在实验中发现明显的Q值高估现象（比如训练过程中某些动作的Q值异常高且不稳定），优先考虑使用Double DQN或者其结合版本。
  • 考虑状态动作关系复杂度：当状态和动作之间的关系比较复杂，难以直接通过单一的Q值来准确判断动作优劣时，Dueling DQN及其结合版本更有优势，因为它们能更好地分解和学习价值信息。

六、下期预告：策略梯度算法（Policy Gradient）基础与应用

在**强化学习系列（4）**中，您将学习到：

  1. 策略梯度算法的基本原理和核心思想，理解它与基于值函数的方法（如DQN系列）的区别。
  2. 常见的策略梯度算法（如REINFORCE、A2C、A3C等）的具体实现和特点。
  3. 如何将策略梯度算法应用到实际的控制类和决策类场景中，并通过实例代码进行演示。

欢迎继续关注本系列，一起深入探索强化学习的更多精彩内容，期待您在评论区分享您的见解和疑问哦！ 🔔

一切皆是映射：DQN的改进算法：从Double DQN到Dueling DQN
AGI×大数据，开启智能时代的认知跃迁；解码AGI，赋能数据驱动的智能革命。
10-04 218
一切皆是映射：DQN的改进算法：从Double DQN到Dueling DQN 关键词：深度Q网络，DQN，Double DQN，Dueling DQN，强化学习，深度强化学习，智能体，环境，动作空间，奖励，价值函数，策略网络，目标网络，经验回放，探索-利用权
Double DQN（Double Deep Q-Network）算法详解
m0_70066267的博客
01-05 434
Double DQN，作为深度强化学习中的经典算法之一，是对传统DQN（Deep Q-Network）算法的改进，旨在解决DQN在估计Q值时存在的过高估计问题。目标Q值计算：对于每个抽取的经验（s, a, r, s’），使用Q1选择下一个状态的最优动作a’=argmax_a’ Q1(s’, a’)，并使用Q2计算该动作的Q值Q2(s’, a’)。在Double DQN中，选择最优动作的网络（记为Q1）用于根据当前状态选择最优动作a，而估计Q值的网络（记为Q2）则用于计算该动作的Q值Q2(s, a)。
深度探索：机器学习中的Double DQN算法（强化学习中应对过估计问题的创新方案）原理及其应用
qq_51320133的博客
04-14 1583
Double DQN算法作为强化学习领域的一项重要创新，通过引入目标Q网络有效解决了Q-learning中的过估计问题，提高了学习的稳定性和性能。尽管存在额外计算开销和仍存在估计偏差等局限性，但其简单易用、适用于多种任务的特点使其在游戏AI、机器人控制、对话系统等领域得到了广泛应用。未来的研究方向可能包括进一步优化目标Q网络的更新策略、结合其他强化学习技术（如策略梯度、模型学习等）以提升性能，以及探索Double DQN在更多实际问题中的应用。随着计算资源的不断提升和算法研究的深入，Double DQN及其
强化学习（十）Double DQN (DDQN)
weixin_34391854的博客
10-12 951
　　　　在强化学习（九）Deep Q-Learning进阶之Nature DQN中，我们讨论了Nature DQN的算法流程，它通过使用两个相同的神经网络，以解决数据样本和网络训练之前的相关性。但是还是有其他值得优化的点，文本就关注于Nature DQN的一个改进版本: Double DQN算法（以下简称DDQN）。 　　　　本章内容主要参考了ICML 2016的deep RL tutorial和...
Dueling DQN（Dueling Deep Q-Network）详解-ChatGPT4o作答
最新发布
qq_46215223的博客
01-15 1025
是一种在 DQN 基础上的重要改进方法，它通过将 Q 值函数分解为状态价值 (V(s)) 和动作优势 (A(s, a)) 两部分，从而提高了算法在复杂环境中的效率和稳定性。Dueling DQN 的分支结构尤其适合那些动作选择对回报影响较小的任务，是深度强化学习领域的重要里程碑之一。
Duling DQN
08-20
基于Tensorflow实现的深度强化学习算法（Dueling DQN），python3.0及以上，依赖库：Gym、Numpy、Tensorflow
深度强化学习——Dueling-DDQN
热门推荐
草帽BOY的博客
06-13 3万+
深度双Q网络（DDQN）和基于竞争构架Q网络（Dueling-DQN）都是DQN的改进版本，前者是对DQN训练算法的改进，后者是对DQN模型结构的改进。
Dueling DQN
JacobJiang的博客
07-07 531
论文链接：https://arxiv.org/pdf/1511.06581.pdf Dueling DQN 使用了一种新的神经网络结构。Dueling 网络有两个独立的估计量： 状态值函数的估计量 依赖状态的动作优势函数的估计量 这种分解的主要好处是在不改变底层强化学习算法的情况下，将学习泛化到多个动作。 定义了新的优势函数： 值函数 V 衡量的是特定状态 s 有多好，动作值函数 Q 衡量的是在这个状态下选择某一动作的值。优势函数是 Q 减去 V 的值，得到的是每个动作重要性的相对度量。 ...
DQN变体：Dueling DQN
m0_37663944的博客
12-17 1062
本篇文章主要讲解Dueling DQN的结构。 解决问题 对比之前的DQN,Dueling DQN主要对结构进行了优化。Dueling DQN考虑将QQQ网络分成两部分，第一部分是仅仅与状态S有关，与具体要采用的动作AAA无关，这部分我们叫做价值函数部分，记做V(S,w,α)V(S,w,α)V(S,w,α),第二部分同时与状态状态SSS和动作AAA有关，这部分叫做优势函数(Advantage Fu...
DoubleDQN
weixin_37841366的博客
01-13 193
实现时，重写target的计算方法，注意张量的切片使用的是gather函数， 而不是迭代 # q_target = reward + gamma * max(q_next) with tf.variable_scope('dd_q_target'): a_ = tf.argmax(self.e_next, 1) # 注意切片函数 q_ = tf.gather(self.q_next, a_ , ax
breakout-Deep-Q-Network:强化学习| 在Atari Breakout上执行DQN，对决DQN和Double DQN的tensorflow实现
05-11
突破-深度-Q-网络 :person_running: [强化学习]在Atari Breakout游戏上执行的Deep Q Network（DQN），决斗DQN和...算法：具有经验重播的深度Q学习 参考：第5页，“使用深度强化学习玩Atari” 这是没有装饰的最简
深度强化学习源码实现：DQN、Double DQN与Dueling DQN
资源摘要信息:"该资源是一个压缩包文件，其中包含了使用Python的PyTorch框架实现的三种深度强化学习算法的源码，分别是Vanilla DQN（原始深度Q网络）、Double DQN（双重深度Q网络）以及Dueling DQN（优势深度Q网络）...
Python深度学习实践：深度Q网络（DQN）入门与实现
AI天才研究院
05-06 882
强化学习 (Reinforcement Learning, RL) 属于机器学习的一个分支，它关注的是智能体 (Agent) 如何在与环境的交互中学习，通过试错的方式来最大化累积奖励。不同于监督学习和非监督学习，强化学习没有明确的标签或数据结构，而是通过与环境的交互来获得反馈，并根据反馈调整策略，以实现目标。研究者正在探索更复杂的网络结构，例如深度循环神经网络 (RNN) 和图神经网络 (GNN)，以提高 DQN 的性能。多智能体强化学习是强化学习的一个重要分支，研究如何让多个智能体协同学习和决策。
Double DQN
JacobJiang的博客
07-06 1116
论文链接：https://arxiv.org/abs/1509.06461 由于深度神经网络提供了灵活的函数逼近与低渐近逼近误差的潜力，DQN 在 Atari 2600 游戏中的带来了更好的性能。但是，DQN有时也会大大高估行动的价值。使用 DQN的改进版本（Double DQN）能够产生更准确的值估计，减少 DQN 的过高估计，从而在游戏中获得更高的分数。 给定策略 π\piπ ，在状态 s 采用动作 a 的真实值为： 标准 Q-learning 算法的参数更新方式： DQN 的目标Y值为： 标准
【蘑菇书】DuelingDQN
wq6qeg88的博客
08-02 586
DQN等算法中使用的是一个简单的三层神经网络：一个输入层，一个隐藏层和一个输出层。如下左图：而在Dueling DQN中，我们在后面加了两个子网络结构，分别对应上面上到价值函数网络部分和优势函数网络部分。对应上面右图所示。最终Q网络的输出由价值函数网络的输出和优势函数网络的输出线性组合得到。
深度强化学习 学术前沿与实战应用——Dueling DQN
weixin_40678580的博客
09-25 442
class DuelingDQN: def __init__(self, …, dueling = True, sess = None): #省略 self.dueling = dueling #省略 if sess is None: self.sess = tf.Session() self.sess.run(tf.global_variables_initializer()) ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值