强化学习经典算法笔记(六)：深度Q值网络 Deep Q Network

最新推荐文章于 2024-08-06 06:30:00 发布
最新推荐文章于 2024-08-06 06:30:00 发布
阅读量1.1w 收藏 99
点赞数 13
分类专栏： 强化学习 文章标签： 强化学习 深度强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hhy_csdn/article/details/89339149
版权

前期回顾

强化学习经典算法笔记(零)：贝尔曼方程的推导
强化学习经典算法笔记(一)：价值迭代算法Value Iteration
强化学习经典算法笔记(二)：策略迭代算法Policy Iteration
强化学习经典算法笔记(三)：蒙特卡罗方法Monte Calo Method
强化学习经典算法笔记(四)：时间差分算法Temporal Difference（Q-Learning算法）
强化学习经典算法笔记(五)：时间差分算法Temporal Difference（SARSA算法）

强化学习经典算法笔记——深度Q值网络

  到这里，我们终于来到了深度强化学习的领域了，之前的算法都是经典RL算法，它们和DRL的关系好比是机器学习和深度学习的关系。深度神经网络的引入极大地提升了强化学习算法的效率和能力，使强化学习的研究进入了新的阶段。

简介

  深度强化学习的经典之作是2015年DeepMind发表在Nature的DQN论文《Human-Level Control Through Deep Reinforcement Learning》。本篇博客就讲一讲DQN的基本框架思想，并用代码实现它。

  DQN属于Q-Learning算法，也是一种Value-Based算法，并不直接学习一个Policy，而是学习Critic，也就是学习如何评价当前状态的好坏，进而根据Q值选取最佳的action。因此可以将DQN中的神经网络看做是一个复杂的Q-function，本质上，它和前几篇中提到的Q-table干的事是一样的，只不过神经网络的函数拟合能力很强，它能胜任更复杂的RL任务。

  我个人观点，深度强化学习的框架大致可以分为两部分，一部分是感知（Sensoring），另一部分是决策（Decision Making）。

  DRL往往需要学习一个感知算法，感知真实环境的各种信息。有的感知器输出一个标量，反映当前环境或状态动作对的好坏；有的感知器则是对真实环境进行建模，将当前状态抽象成一个隐层特征，用于后续的决策算法使用，这类算法有DeepMind的World Model和PlaNet系列，我们以后都会讲到。

  感知算法是对真实环境的总结和特征提取，要想做出决策，还需要一个决策算法。比如DQN中的 ϵ − g r e e d y \epsilon-greedy ϵ−greedy算法，虽然是一个比较简单的policy算法，直接采取具有最大Q值的动作作为当前策略，但是我们也可以看做是一个决策算法，它利用了上一步的感知器对环境的感知信息。

  再比如，AlphaGo系列算法中，CNN负责对当前棋盘状态提取特征，给出当前胜算（也就是评估当前状态好坏），接着蒙特卡洛树搜索算法根据CNN输出的Q值计算子结点的U值，进行棋盘搜索，完成决策。

  从感知和决策的角度审视深度强化学习，深度神经网络的引入提升了感知和决策两方面的效果。我们在这一篇主要讲神经网络对感知能力的提升，而将神经网络用于决策的内容放到后面去讲。但是，将神经网络用于强化学习早已有之，不过效果一直不好，直到DQN引入了几个核心技术，才将性能大大提升，即

  • 卷积神经网络 CNN
  • 目标网络 Target Network
  • 经验回放 Experience Replay

  DQN应该是第一个采用原始图像作为CNN输入进行训练的，也应该是第一个将CNN在RL发挥巨大威力的算法。DQN中的CNN采用和AlexNet类似的结构。

  目标网络是DQN的一大贡献。我们知道，与环境交互具有极大的随机性，XXXXXXXXXXXXXXXXX

  经验回放是DQN的另一贡献。我们知道，一个episode是一个时间关联性很强的（状态-动作-回报）序列，如果直接拿若干个episode的序列数据来训练CNN，XXXXXXXXXXXXXXXXXXXXXXX

现在让我们看看DQN完整的算法

以下操作执行N个Episode：

  • 将游戏画面 s s s进行预处理，送入CNN，输出每个动作的Q值
  • 根据 ϵ − g r e e d y \epsilon-greedy ϵ−greedy算法计算应该采取的动作 a = a r g m a x ( Q ( s , a , θ ) ) a=argmax(Q(s,a,\theta)) a=argmax(Q(s,a,θ))
  • 执行动作 a a a，转移到下一状态 s ′ s' s′，收到环境给出的回报
  • 将序列 &lt; s , a , r , s ′ &gt; &lt;s,a,r,s&#x27;&gt; <s,a,r,s
最低0.47元/天 解锁文章
hhy_csdn
关注
专栏目录
深度Qnetwork模型架构解析
程序员光剑
04-02 577
强化学习是机器学习领域中一个重要分支,它通过与环境的交互,让智能体学习如何做出最优决策,以获得最大的累积奖励。其中,Q-learning算法是强化学习中一种经典的值迭代算法,它通过不断更新状态-动作价值函数Q(s,a),最终学习出最优的策略。然而,传统的Q-learning算法在面对复杂的高维状态空间时,很难有效地学习出准确的Q函数。深度Q-network(DQN)就是为了解决这一问题而提出的。它将深度神经网络引入到Q-learning算法中,使其能够有效地处理高维复杂的状态输入,学习出更加准确的Q函数。
【深度学习】最强算法之：深度Q网络（DQN）
商务合作 | 面试培训 | 职场规划 ==>主页扫码
04-08 4238
深度学习之不得不会算法：深度Q网络
深度强化学习（深度Q学习
shuijinghua的博客
03-06 3198
2013年，在DeepMind 发表的著名论文Playing Atari with Deep Reinforcement Learning中，他们介绍了一种新算法，深度Q网络（DQN）。文章展示了AI agent如何在没有任何先验信息的情况下通过观察屏幕学习玩游戏。结果令人印象深刻。这篇文章开启了被我们成为“深度强化学习”的新时代。这种学习算法是混合了深度学习与强化学习的新算法。每进行一个动作，a...
AI学习指南机器学习篇-深度Q网络（Deep Q-Networks，DQN）
最新发布
俞兆鹏的博客
08-06 1139
本文介绍了DQN算法的基本原理和结构，详细解释了如何使用神经网络逼近Q值函数，并给出了在CartPole环境下的DQN算法实现示例。DQN算法通过结合深度学习和强化学习，实现了对复杂决策问题的高效求解，为解决实际应用中的各种问题提供了有力的工具和思路。希望本文对AI学习者们有所帮助，欢迎交流和讨论。
（六）深度Q网络
gls_nuaa的博客
03-30 5630
  前言：深度Q网络，又叫DQN   传统的强化学习中存储状态价值或者Q函数都是使用的表格(比如之前的Q表格)，学名叫查找表(lookup table)。这个有什么问题吗？一个大问题就是只有离散情况(可穷尽)能够被存在于表格中。对于==连续的状态空间怎么办呢？==最气人的就是，现实中还总是连续的状态空间。这个时候就不能够用表格对价值函数进行存储。这时候需要价值函数近似来解决这个问题。   价值函数近似(value function approximation)：为了在连续的状态和动作空间中计算Q函数，使用另
关于深度 Q 学习
FM_1793的博客
10-10 286
深度 Q 学习（Deep Q-Learning，DQL）是一种强化学习（Reinforcement Learning，RL）方法，它结合了深度神经网络和 Q 学习算法，用于解决决策问题和控制问题。它的参数是通过周期性更新来固定的，以减少估计 Q 值与目标 Q 值之间的相关性。：深度 Q 学习使用一个 Q 值网络（也称为 Q 网络）来估计状态-动作对的 Q 值。ε是一个小的正数，以一定的概率随机选择行动，以便在不同的状态下探索未知的情况，而不仅仅是依赖于已知的最佳策略。
Deep QLearning算法详解（强化学习 Reinforcement Learning）
qq_41626059的博客
03-07 3717
首先要明白一个前提，这里介绍的是没有使用神经网络的qlearning，而不是Deep QLearning。而且算法不使用梯度下降，而是迭代更新。 一、算法详解 1.1 几个概念 1.1.1 什么是critic？ critic：批评家，评论家。 在这里算法要更新就是一个critic，而不是一个actor（agent），使用critic来间接指导actor做决策，critic的作用就是评估一个actor有多好，水平高不高。 1.1.2 状态价值函数Vπ(s)V ^{\pi }(s)Vπ(s)和状态动作价值函数Q
强化学习 7—— 一文读懂 Deep Q-Learning（DQN）算法
靡不有初鲜克有终
08-10 3万+
上篇文章强化学习——状态价值函数逼近介绍了价值函数逼近（Value Function Approximation，VFA）的理论，本篇文章介绍大名鼎鼎的DQN算法。DQN算法是 DeepMind 团队在2015年提出的算法，对于强化学习训练苦难问题，其开创性的提出了两个解决办法，在atari游戏上都有不俗的表现。论文发表在了 Nature 上，此后的一些DQN相关算法都是在其基础上改进，可以说是打开了深度强化学习的大门，意义重大。 论文地址：Mnih, Volodymyr; et al. (2015). H
AI学习笔记——深度Q-Learning(Deep Q-Learing(DQN))
weixin_33672109的博客
09-27 741
之前的文章介绍了Q-learning, 介绍了深度学习(Deep Learning)，DQN顾名思义就是将两者结合起来。DeepMind公司也就是用DQN从玩各种电子游戏开始，直到训练出阿尔法狗打败了人类围棋选手。本文就简单地介绍一下DQN的基本概念。 1. Q-Learning 和 深度学习回顾 Q-lea...
强化学习：Q-learning与DQN（Deep Q Network）
Leon_winter的博客
06-05 8643
文章目录Q-learningDQNexperience replayfix Q type   Q-learning是一种很常用的强化学习方法，DQN则是Q-learning和神经网络的结合。 Q-learning   首先要设计状态空间s，动作空间a，以及reward。 一次transition就是（s，a，w，s_） 一次episode就是 DQN Q-learning如果状态很多，动作很多时，需要建立的q表也会十分的庞大，因此 神经网络就是用来算动作的q-value的 为了帮助收敛 experience
深度强化学习 - QLearning
01-30
Introduction of Q-Learning Tips of Q-Learning Q-Learning for Continuous Actions
deep-q-learning：Keras中的最小深度Q学习（DQN和DDQN）实现
02-05
深度学习 通过深度强化学习制作简单的游戏AI简介 Keras和Gym中最小和简单的深度Q学习实现。 不到100行代码！ 博客文章包含dqn.py代码的说明。 为了方便起见，我对该存储库进行了一些细微的调整，例如load和save功能。 我还使memory成为双端队列，而不只是列表。 这是为了限制内存中元素的最大数量。 训练对于dqn.py可能是不稳定的。 ddqn.py减轻了此问题。 我将在下一篇文章中介绍ddqn 。
深度强化学习研究笔记（3）——Deep Q-Network（DQN）（DQN问题引入，建模，一个Python小例子）
越野者的博客
03-26 5718
文章目录1. DQN问题描述 1. DQN问题描述 传统Q-learning方法难以处理真实场景下的高维数据，将大量的state和QQQ value存储在内存中会导致计算复杂。于是有研究者想到利用深度神经网络（DNN）来高维数据的强化学习问题，其核心思想是利用价值函数的近似（Value Function Approximation）求解，通过深度神经网络来表示QQQ值的近似分布。下图描述了如何利用...
DQN（deep Q-network）算法简述
热门推荐
星海浮生
03-11 5万+
基本概念；进阶技巧；连续动作的场景
【Dec 5th to Dec 11th 】Personal work record | 人工智能 面试题：什么是深度Q网络（Deep Q-Network，DQN）？它在强化学习中的作用是什么？
追光者♂：记录、分享、总结、提升，现象级专栏《Python从入门到人工智能》作者，无惧黑暗，坚信曙光
12-12 406
【Dec 5th to Dec 11th 】Personal work record | 人工智能 面试题：什么是深度Q网络（Deep Q-Network，DQN）？它在强化学习中的作用是什么？
强化学习之深度Q函数
StepLeave的博客
06-28 1万+
背景：强化学习之深度Q函数
深度Q学习——从入门到实践
qq_43653217的博客
09-01 5380
一.Q-learning q学习是强化学习中一种很经典的算法。 核心公式 Q（S，A）是当前状态下选择A的Q值。是学习率，这决定了Q值更新的快慢，一般我们都取1。是折扣因子，表示未来对现在的影响多少。 算法过程： Q-learning在训练的时候，ϵ−greedy策略被用来选择动作。机器随机生成一个数，如果这个数超过ϵ，那么就随机选择一个动作。反之，就选择当前Q值最大的动作，更新Q表。 得到Q表之后，当我们选择动作的时候，都是选择Q值最大的动作。 Q学习是一种长期决策，这一种长期而非.
深度Q学习神经网络（DQN）
qq_40004268的博客
06-08 2533
DeepMind技术的研究人员开发了一种称为Deep Q学习网络(DQN) 的方法，该方法受益于深度学习在学习最优策略的抽象表示方面的优势，即以最大化累积奖励总和的期望值的方式选择行动。它是前一个工作的延伸神经拟合Q学习(NFQ) 。DQN将深度卷积神经网络与最简单的强化学习方法(Q-learning)相结合。 相比于Q-Learning，DQN做的改进：一个是使用了卷积神经网络来逼近行为值函数，一个是使用了target Q network来更新target，还有一个是使用了经验回放Experience r
dqn的q值网络模型。并用python实现
06-01
DQN的Q值网络模型是一个深度神经网络，它的输入是当前状态，输出是每个动作对应的Q值。在DQN中，我们使用一个带有固定目标网络的Q值网络和一个经验回放池来进行离线学习。 下面是一个简单的DQN的Q值网络模型的Python实现，使用Keras作为深度学习库： ```python import numpy as np from keras.models import Sequential from keras.layers import Dense class DQNAgent: def __init__(self, state_size, action_size): self.state_size = state_size self.action_size = action_size self.memory = [] self.gamma = 0.95 # discount rate self.epsilon = 1.0 # exploration rate self.epsilon_min = 0.01 self.epsilon_decay = 0.995 self.learning_rate = 0.001 self.model = self._build_model() self.target_model = self._build_model() def _build_model(self): model = Sequential() model.add(Dense(24, input_dim=self.state_size, activation='relu')) model.add(Dense(24, activation='relu')) model.add(Dense(self.action_size, activation='linear')) model.compile(loss='mse', optimizer='adam') return model def remember(self, state, action, reward, next_state, done): self.memory.append((state, action, reward, next_state, done)) def act(self, state): if np.random.rand() <= self.epsilon: return np.random.choice(self.action_size) act_values = self.model.predict(state) return np.argmax(act_values[0]) def replay(self, batch_size): minibatch = random.sample(self.memory, batch_size) for state, action, reward, next_state, done in minibatch: target = reward if not done: target = (reward + self.gamma * np.amax(self.target_model.predict(next_state)[0])) target_f = self.model.predict(state) target_f[0][action] = target self.model.fit(state, target_f, epochs=1, verbose=0) if self.epsilon > self.epsilon_min: self.epsilon *= self.epsilon_decay def update_target_model(self): self.target_model.set_weights(self.model.get_weights()) ``` 在上面的代码中，我们定义了一个DQNAgent类，它包含了一个用于存储经验回放池的memory列表，以及一些超参数和两个Keras模型：一个用于学习的model和一个用于生成目标值的target_model。在构建model时，我们使用了三个全连接层，其中前两个层使用ReLU激活函数，最后一层使用线性激活函数。在compile函数中，我们使用均方误差作为损失函数，使用Adam优化器进行优化。 在act函数中，我们使用epsilon-greedy策略来选择动作，其中epsilon是用于控制探索程度的超参数。 在replay函数中，我们从memory中随机抽取一批经验数据，并使用Bellman方程计算目标值。然后，我们将目标值与当前模型输出的Q值进行比较，并使用mse损失函数进行训练。 最后，在update_target_model函数中，我们将model的权重复制到target_model中，以保持目标值的稳定。 需要注意的是，这只是一个简单的DQN的Q值网络模型的实现，实际应用中还需要进行一些改进和调整。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值