【深度强化学习】(1) DQN 模型解析，附Pytorch完整代码

最新推荐文章于 2025-03-21 09:39:04 发布
最新推荐文章于 2025-03-21 09:39:04 发布
阅读量4.8w 收藏 768
点赞数 143
分类专栏： 深度强化学习 文章标签： python 强化学习 深度强化学习 DQN pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dgvv4/article/details/129447669
版权
本文介绍了深度强化学习中的DQN算法，结合OpenAIGym环境训练模型完成小游戏。DQN是深度神经网络与Q-Learning的结合，通过Q网络预测Q值。经验回放机制用于打破序列依赖，增加训练数据的多样性，确保网络稳定学习。文中还提供了DQN模型的实现代码，并展示了在CartPole-v1环境中的应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

大家好，今天和各位讲解一下深度强化学习中的基础模型 DQN，配合 OpenAI 的 gym 环境，训练模型完成一个小游戏，完整代码可以从我的 GitHub 中获得：

https://github.com/LiSir-HIT/Reinforcement-Learning/tree/main/Model

1. 算法原理

1.1 基本原理

DQN（Deep Q Network）算法由 DeepMind 团队提出，是深度神经网络和 Q-Learning 算法相结合的一种基于价值的深度强化学习算法。

Q-Learning 算法构建了一个状态-动作值的 Q 表，其维度为 (s,a)，其中 s 是状态的数量，a 是动作的数量，根本上是 Q 表将状态和动作映射到 Q 值。此算法适用于状态数量能够计算的场景。但是在实际场景中，状态的数量可能很大，这使得构建 Q 表难以解决。为破除这一限制，我们使用 Q 函数来代替 Q 表的作用，后者将状态和动作映射到 Q 值的结果相同。

由于神经网络擅长对复杂函数进行建模，因此我们用其当作函数近似器来估计此 Q 函数，这就是 Deep Q Networks。此网络将状态映射到可从该状态执行的所有动作的 Q 值。即只要输入一个状态，网络就会输出当前可执行的所有动作分别对应的 Q 值。如下图所示，它学习网络的权重，以此输出最佳 Q 值。

1.2 模型结构

DQN 体系结构主要包含：Q 网络、目标网络，以及经验回放组件。.Q 网络是经过训练以生成最佳状态-动作值的 agent。经验回放单元的作用是与环境交互，生成数据以训练 Q 网络。目标网络与 Q 网络在初始时是完全相同的。DQN 工作流程图如下

1.2.1  经验回放

经验回放从当前状态中以贪婪策略 \varepsilon -greedy 选择一个动作，执行后从环境中获得奖励和下一步的状态，如下图所示。

然后将此观测值另存为用于训练数据的样本，如下图所示。

最低0.47元/天 解锁文章
人工智能大模型原理与应用实战：强化学习模型DQN的详解与实战
AI天才研究院
12-01 285
1.背景介绍 人工智能（Artificial Intelligence，AI）是一门研究如何让计算机模拟人类智能的学科。强化学习（Reinforcement Learning，RL）是一种人工智能的子领域，它研究如何让计算机通过与环境的互动来学习如何做出最佳的决策。深度强化学习（Deep Reinforcement Learning，DRL）是一种结合
强化学习算法：深度 Q 网络 (DQN) 原理与代码实例讲解
余美丽的技术博客
12-01 1229
强化学习算法：深度 Q 网络 (DQN) 原理与代码实例讲解 关键词：强化学习, 深度 Q 网络 (DQN), 深度神经网络, 动作策略, 奖励函数, 探索-利用平衡, 经验回放 (Experience Replay), 多智能体
DQN-Pytorch：在Pytorch中实现DQN
03-02
DQN-Pytorch 在Pytorch中实现DQN
深度强化学习助力约束多目标优化：算子选择新策略
最新发布
2501_90186640的博客
03-21 1314
本文提出一种基于深度强化学习（DRL）辅助的约束多目标优化进化算法（CMOEAs）算子选择框架。该框架以种群的收敛性、多样性和可行性为状态，候选算子为行动，种群状态的改进为奖励，借助深度Q网络学习策略选择最优算子。实验表明，该方法能显著提升CMOEAs性能，且通用性优于多种先进算法。
【深度强化学习】(2) Double DQN 模型解析，附Pytorch完整代码
博观而约取，厚积而薄发
03-10 1万+
Double DQN 算法是 DQN 算法的改进版本，解决了 DQN 算法过估计行为价值的问题。Double DQN 算法不直接通过最大化的方式选取目标网络计算的所有可能 Q 值，而是首先通过估计网络选取最大 Q 值对应的动作。在 Double DQN 框架中存在两个神经网络模型，分别是训练网络与目标网络。这两个神经网络模型的结构完全相同，但是权重参数不同；每训练一段之间后，训练网络的权重参数才会复制给目标网络。
强化学习-----DQN（Deep Q-network）
qq_74722169的博客
04-07 2万+
DQN（Deep Q-Network）是一种基于深度学习和强化学习的算法，由DeepMind提出，用于解决离散动作空间下的马尔科夫决策过程（MDP）问题。它是首个成功将深度学习应用于解决强化学习任务的算法之一。DQN，即深度Q网络（Deep Q-network），是指基于深度学习的Q-Learing算法。那什么是Q-leaning？可以看上一篇文章Q-learning是一种经典的强化学习算法，用于解决马尔可夫决策过程（Markov Decision Process，MDP）中的控制问题。
强化学习（一）模型基础
weixin_34195364的博客
07-29 244
　　　　从今天开始整理强化学习领域的知识，主要参考的资料是Sutton的强化学习书和UCL强化学习的课程。这个系列大概准备写10到20篇，希望写完后自己的强化学习碎片化知识可以得到融会贯通，也希望可以帮到更多的人，毕竟目前系统的讲解强化学习的中文资料不太多。 　　　　第一篇会从强化学习的基本概念讲起，对应Sutton书的第一章和UCL课程的第一讲。 1.  强化学习在机器学习中的位置 　　　　强化...
深度强化学习——Dueling-DDQN
Levy的博客
01-16 620
https://blog.csdn.net/u013236946/article/details/73161586
深度强化学习(DRL)
慢慢的博客
08-16 4819
DRL形成背景 深度强化学习（Deep Reinforcement Learning）顾名思义，是深度学习与强化学习的结合，因此深度强化学习弥补了DL和RL的不足之处。 深度学习最近火热，大家也都有所了解，就是通过多层网络和非线性变换，去学习数据的分布式特征表示，因此深度学习侧重于对事物的感知和表达。 而强化学习，了解的同学都知道，通过奖惩机制去挖掘最优策略，因此它侧重于学习解决问题的策略。 因此由于深度学习特征感知能力强却缺乏决策能力，引入了深度强化学习这个概念。 强化学习 要了解深度强化学习，首先要
深度强化学习DQN训练Flappy bird源代码
11-10
深度强化学习DQN训练Flappy Bird源代码，可以直接运行FlappyBirdDQN.py使用。
【深度强化学习】(5) DDPG 模型解析，附Pytorch完整代码
热门推荐
博观而约取，厚积而薄发
03-12 5万+
深度确定性策略梯度算法 (Deterministic Policy Gradient，DDPG)。DDPG 算法使用演员-评论家（Actor-Critic）算法作为其基本框架，采用深度神经网络作为策略网络和动作值函数的近似，使用随机梯度法训练策略网络和价值网络模型中的参数。DDPG 算法架构中使用双重神经网络架构，对于策略函数和价值函数均使用双重神经网络模型架构。
pytorch-DQN:DQN的Pytorch实现
04-14
pytorch-DQN DQN的Pytorch实现 DQN 最初的Q学习使用表格方法（有关更多详细信息和实现，请参见 ）来解决，但是，表格Q学习的问题在状态增长时出现因为table不足以存储环境中给定的数亿个状态。 例如，环境为210x180黑白像素的游戏。 将有$ 2 ^ {180 * 210} $个可能的状态，对于一个表来说，这太多了。 DeepMind通过深度神经网络以DQN形式将DQN形式的深度学习和Q学习相结合，以近似值，首先在游戏中击败人类。 简而言之，DQN用深度神经网络（CNN或DNN）替换了表格，并使用目标网络来执行Bellman方程更新。 为了实现它，使用了一些技巧，例如目标网络和体验重播。 引入目标网络以收敛模型，因为频繁更新会使模型处于不稳定状态。 体验重播使用缓冲区存储所有过去（状态，动作，next_state）对，并通过对过去的体验进行采样来训练模型，这有
《深度强化学习实战》随书代码
05-07
【《深度强化学习实战》随书代码】’Code from the Deep Reinforcement Learning in Action book from Manning, Inc'
深度强化学习
03-19
对强化学习的理解
【深度强化学习】(3) Policy Gradients 模型解析，附Pytorch完整代码
博观而约取，厚积而薄发
03-10 4742
强化学习中策略梯度算法是对策略进行建模，然后通过梯度上升更新策略网络的参数。Policy Gradients中无法使用策略的误差来构建损失函数，因为参数更新的目标是最大化累积奖励的期望值，所以策略更新的依据是某一动作对累积奖励的影响，即增加使累积回报变大的动作的概率，减弱使累积回报变小的动作的概率。
【深度强化学习】(4) Actor-Critic 模型解析，附Pytorch完整代码
博观而约取，厚积而薄发
03-11 3万+
行动者评论家方法是由行动者和评论家两个部分构成。行动者用于选择动作，评论家评论选择动作的好坏。Critic 是评判网络，当输入为环境状态时，它可以评估当前状态的价值，当输入为环境状态和采取的动作时，它可以评估当前状态下采取该动作的价值。Actor 为策略网络，以当前的状态作为输入，输出为动作的概率分布或者连续动作值，再由 Critic 网络来评价该动作的好坏从而调整策略。
[强化学习04]DQN(pytorch)
qq_43459731的博客
12-24 1030
Supervised learning中logits - maxQ(St+1)+R。Supervised learning中lables-mse函数。2.将St+1输入Q network, 计算St+1下的所有Q值。5. 用loss更新Q network。3. 获取maxQ值+R作为更新目标。1.执行A前进一步到St+1。4. 计算损失-Q(S,A)
【深度强化学习】常常使用的pytorch代码
weixin_56760882的博客
08-15 1681
最近又看了一遍《深度强化学习》，和TD3的代码，觉得市面上好多代码写的非常绚丽，但表达的意思，实际的操作确实同一个，再此总结一下这些常见的代码的含义。顺便自己构建一个比较简单易懂的强化学习算法供自己使用。暂时只搭建了部分，欢迎star参考了很多人写的代码，这里先不列举了。torch版本：2.3.1+cu121python版本：3.11.9设计深度强化学习库的思想。
深度学习模型：深度强化学习（DQN）详解
专业深耕，技术前沿
01-31 881
DQN作为一种经典的深度强化学习算法，已经取得了显著的成果并在多个领域展现出强大的应用潜力。然而，DQN仍面临一些挑战，如环境模型不完整、动作空间大、奖励函数设计等。未来，随着研究的深入和技术的不断发展，DQN有望在更多领域得到应用和推广，同时也需要关注其面临的挑战并寻求解决方案以推动其进一步发展。
dqn
03-08
### DQN深度强化学习算法介绍 #### 一. 概念概述 DQN (Deep Q-Network) 是一种结合了深度神经网络与Q-Learning的方法，用于解决高维状态空间下的决策问题。传统Q-Learning通过查找表的形式存储每一个状态下采取不同行动所获得的价值量(Q值)，然而这种方法面对复杂环境时效率极低甚至不可行，因为随着状态数目的增加，所需内存呈指数级增长[^1]。 为了克服这一挑战，研究人员提出了利用深层卷积神经网络作为函数逼近器的思想，使得模型可以直接从原始像素输入中提取特征并预测相应的Q值，而无需显式构建庞大的查表结构。此外，该框架还融入了两项关键技术——经验重放缓冲池(experience replay buffer)以及固定的目标Q网络(target network)[^3]。 #### 二. 关键技术解析 ##### 经验重放缓冲池(Experience Replay Buffer) 此机制允许代理将经历过的交互事件（即<state, action, reward, next_state>四元组）存入一个队列式的记忆库内，在训练过程中随机抽取样本批次来进行更新操作。这样做不仅打破了数据之间的关联性，提高了泛化能力；而且有助于稳定梯度下降过程中的参数调整方向。 ##### 固定目标Q网络(Target Network) 为了避免频繁变动的学习目标造成优化困难的情况发生，DQN采用双网路架构：一个是不断迭代改进的工作网络(evaluation network), 另外则是定期同步权重给前者的影子副本—目标网络。后者仅用来计算TD误差而不参与反向传播环节，从而确保每次估计都相对平稳可靠。 #### 三. 实现案例展示 下面给出一段简化版的Python代码片段，展示了如何使用TensorFlow/Keras搭建一个基本形式的DQN： ```python import numpy as np from tensorflow.keras.models import Sequential from tensorflow.keras.layers import Dense from collections import deque class SimpleDQN: def __init__(self, state_size, action_size): self.state_size = state_size self.action_size = action_size self.memory = deque(maxlen=2000) self.gamma = 0.95 # 折扣因子 self.epsilon = 1.0 # 探索率初始值 self.epsilon_min = 0.01 self.epsilon_decay = 0.995 self.learning_rate = 0.001 self.model = self._build_model() def _build_model(self): model = Sequential() model.add(Dense(24, input_dim=self.state_size, activation='relu')) model.add(Dense(24, activation='relu')) model.add(Dense(self.action_size, activation='linear')) model.compile(loss="mse", optimizer="adam") return model def remember(self, state, action, reward, next_state, done): self.memory.append((state, action, reward, next_state, done)) def act(self, state): if np.random.rand() <= self.epsilon: return np.random.choice(self.action_size) act_values = self.model.predict(state) return np.argmax(act_values[0]) def train(self, batch_size=32): minibatch = random.sample(self.memory, batch_size) for state, action, reward, next_state, done in minibatch: target = reward if not done: target = (reward + self.gamma * np.amax(self.model.predict(next_state)[0])) target_f = self.model.predict(state) target_f[0][action] = target self.model.fit(state, target_f, epochs=1, verbose=0) if self.epsilon > self.epsilon_min: self.epsilon *= self.epsilon_decay ``` 上述代码定义了一个简单的DQN类`SimpleDQN`,其中包含了创建两层全连接隐藏层组成的评估网络(`_build_model`)、保存历史轨迹(`remember`)、依据当前策略选取行为(`act`)以及基于采样得到的小批量数据执行一次完整的训练循环(`train`)等功能模块。 对于更具体的应用场景比如路径规划，则可以参照MATLAB环境下实现的具体实例[^2]。
评论 62
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

立Sir

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值