论文阅读（DRQN）：Deep Recurrent Q-Learning for Partially Observable MDPs

最新推荐文章于 2024-04-23 09:50:59 发布
最新推荐文章于 2024-04-23 09:50:59 发布
阅读量1.6k 收藏 2
点赞数 3
分类专栏： # 项目经验 文章标签： 游戏 人工智能 神经网络 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45459911/article/details/104860979
版权

简单概括该文：
a、创新之处：提出QRQN结构：DQN+LSTM
b、创新原因：DQN有两个缺陷——1、经验池内存有限制；2、每个决策点都需要完整的游戏界面。
c、改动措施：将DQN的第一个全连接层换成LSTM网络

Introduction：
DQN只取了过去四帧（即四张图）作为输入，而如果游戏需要四帧以上的记忆，则将出现部分可观测马尔科夫性（Partially-Observable Markov Decision Process ,POMDP)，例如Pong游戏——仅显示棍子和球的位置缺少球的速度。这会造成信息特征的不完整，状态信息有noisy。而行进方向需要查看球的行进，而不是当前状态（球在一个时刻的位置），这就不满足马尔科夫性中的：未来状态仅取决于当前状态。

因为DQN在面对不完全的状态（incomplete state），性能会下降，所以引入LSTM用来弥补闪烁的游戏界面和卷积层缺乏的速度检测，DRQN更擅长解决信息丢失问题。

DQN：
其与常规的强化学习Q-Learning最大的不同就是，DQN在初始化的时候不再生成一个完整的Q-Table，每一个观测环境的Q值都是通过神经网络生成的，即通过输入当前环境的特征Features来得到当前环境每个动作的Q-Value，并且以这个Q-Value基准进行动作选择。

loss = 目标值网络 — 当前值网络（评估值网络）

最低0.47元/天 解锁文章
JoyRL论文阅读《Deep Recurrent Q-Learning for Partially Observable MDPs, Hausknecht and Stone》
weixin_41221544的博客
10-31 1021
JoyRL 论文阅读
深度强化学习之Deep Q Learning
weixin_44188264的博客
04-12 1603
深度强化学习之Deep Q Learning 本文主要讲解：Deep Q Network 下面我们简称为 DQN。DQN采用深度神经网络来表示Q函数，通常也称为Deep Q Learning 。 DQN是在论文《Playing Atari with Deep Reinforcement Learning》中提出的。这篇论文主要讲解如何用深度强化学习来玩Astair游戏。 首先，先来简单介绍一下A...
deep q_learning
06-19
# Deep Reinforcement Learning for Keras [![Build Status](https://api.travis-ci.org/matthiasplappert/keras-rl.svg?branch=master)](https://travis-ci.org/matthiasplappert/keras-rl) [![Documentation](https://readthedocs.org/projects/keras-rl/badge/)](http://keras-rl.readthedocs.io/) [![License](https://img.shields.io/github/license/mashape/apistatus.svg?maxAge=2592000)](https://github.com/matthiasplappert/keras-rl/blob/master/LICENSE) [![Join the chat at https://gitter.im/keras-rl/Lobby](https://badges.gitter.im/keras-rl/Lobby.svg)](https://gitter.im/keras-rl/Lobby) ## What is it? `keras-rl` implements some state-of-the art deep reinforcement learning algorithms in Python and seamlessly integrates with the deep learning library [Keras](http://keras.io). Just like Keras, it works with either [Theano](http://deeplearning.net/software/theano/) or [TensorFlow](https://www.tensorflow.org/), which means that you can train your algorithm efficiently either on CPU or GPU. Furthermore, `keras-rl` works with [OpenAI Gym](https://gym.openai.com/) out of the box. This means that evaluating and playing around with different algorithms is easy. Of course you can extend `keras-rl` according to your own needs. You can use built-in Keras callbacks and metrics or define your own. Even more so, it is easy to implement your own environments and even algorithms by simply extending some simple abstract classes. In a nutshell: `keras-rl` makes it really easy to run state-of-the-art deep reinforcement learning algorithms, uses Keras and thus Theano or TensorFlow and was built with OpenAI Gym in mind. ## What is included? As of today, the following algorithms have been implemented: - Deep Q Learning (DQN) [[1]](http://arxiv.org/abs/1312.5602), [[2]](http://home.uchicago.edu/~arij/journalclub/papers/2015_Mnih_et_al.pdf) - Double DQN [[3]](http://arxiv.org/abs/1509.06461) - Deep Deterministic Policy Gradient (DDPG) [[4]](http://arxiv.org/abs/1509.02971) - Continuous DQN (CDQN or NAF) [[6]](http://arxiv.org/abs/1603.00748) - Cross-Entropy Method (CEM) [[7]](http://learning.mpi-sws.org/mlss2016/slides/2016-MLSS-RL.pdf), [[8]](http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.81.6579&rep=rep1&type=pdf) - Dueling network DQN (Dueling DQN) [[9]](https://arxiv.org/abs/1511.06581) - Deep SARSA [[10]](http://people.inf.elte.hu/lorincz/Files/RL_2006/SuttonBook.pdf) You can find more information on each agent in the [wiki](https://github.com/matthiasplappert/keras-rl/wiki/Agent-Overview). I'm currently working on the following algorithms, which can be found on the `experimental` branch: - Asynchronous Advantage Actor-Critic (A3C) [[5]](http://arxiv.org/abs/1602.01783) Notice that these are **only experimental** and might currently not even run. ## How do I install it and how do I get started? Installing `keras-rl` is easy. Just run the following commands and you should be good to go: ```bash pip install keras-rl ``` This will install `keras-rl` and all necessary dependencies. If you want to run the examples, you'll also have to install `gym` by OpenAI. Please refer to [their installation instructions](https://github.com/openai/gym#installation). It's quite easy and works nicely on Ubuntu and Mac OS X. You'll also need the `h5py` package to load and save model weights, which can be installed using the following command: ```bash pip install h5py ``` Once you have installed everything, you can try out a simple example: ```bash python examples/dqn_cartpole.py ``` This is a very simple example and it should converge relatively quickly, so it's a great way to get started! It also visualizes the game during training, so you can watch it learn. How cool is that? Unfortunately, the documentation of `keras-rl` is currently almost non-existent. However, you can find a couple of more examples that illustrate the usage of both DQN (for tasks with discrete actions) as well as for DDPG (for tasks with continuous actions). While these examples are not replacement for a proper documentation, they should be enough to get started quickly and to see the magic of reinforcement learning yourself. I also encourage you to play around with other environments (OpenAI Gym has plenty) and maybe even try to find better hyperparameters for the existing ones. If you have questions or problems, please file an issue or, even better, fix the problem yourself and submit a pull request! ## Do I have to train the models myself? Training times can be very long depending on the complexity of the environment. [This repo](https://github.com/matthiasplappert/keras-rl-weights) provides some weights that were obtained by running (at least some) of the examples that are included in `keras-rl`. You can load the weights using the `load_weights` method on the respective agents. ## Requirements - Python 2.7 - [Keras](http://keras.io) >= 1.0.7 That's it. However, if you want to run the examples, you'll also need the following dependencies: - [OpenAI Gym](https://github.com/openai/gym) - [h5py](https://pypi.python.org/pypi/h5py) `keras-rl` also works with [TensorFlow](https://www.tensorflow.org/). To find out how to use TensorFlow instead of [Theano](http://deeplearning.net/software/theano/), please refer to the [Keras documentation](http://keras.io/#switching-from-theano-to-tensorflow). ## Documentation We are currently in the process of getting a proper documentation going. [The latest version of the documentation is available online](http://keras-rl.readthedocs.org). All contributions to the documentation are greatly appreciated! ## Support You can ask questions and join the development discussion: - On the [Keras-RL Google group](https://groups.google.com/forum/#!forum/keras-rl-users). - On the [Keras-RL Gitter channel](https://gitter.im/keras-rl/Lobby). You can also post **bug reports and feature requests** (only!) in [Github issues](https://github.com/matthiasplappert/keras-rl/issues). ## Running the Tests To run the tests locally, you'll first have to install the following dependencies: ```bash pip install pytest pytest-xdist pep8 pytest-pep8 pytest-cov python-coveralls ``` You can then run all tests using this command: ```bash py.test tests/. ``` If you want to check if the files conform to the PEP8 style guidelines, run the following command: ```bash py.test --pep8 ``` ## Citing If you use `keras-rl` in your research, you can cite it as follows: ```bibtex @misc{plappert2016kerasrl, author = {Matthias Plappert}, title = {keras-rl}, year = {2016}, publisher = {GitHub}, journal = {GitHub repository}, howpublished = {\url{https://github.com/matthiasplappert/keras-rl}}, } ``` ## Acknowledgments The foundation for this library was developed during my work at the [High Performance Humanoid Technologies (H²T)](https://h2t.anthropomatik.kit.edu/) lab at the [Karlsruhe Institute of Technology (KIT)](https://kit.edu). It has since been adapted to become a general-purpose library. ## References 1. *Playing Atari with Deep Reinforcement Learning*, Mnih et al., 2013 2. *Human-level control through deep reinforcement learning*, Mnih et al., 2015 3. *Deep Reinforcement Learning with Double Q-learning*, van Hasselt et al., 2015 4. *Continuous control with deep reinforcement learning*, Lillicrap et al., 2015 5. *Asynchronous Methods for Deep Reinforcement Learning*, Mnih et al., 2016 6. *Continuous Deep Q-Learning with Model-based Acceleration*, Gu et al., 2016 7. *Learning Tetris Using the Noisy Cross-Entropy Method*, Szita et al., 2006 8. *Deep Reinforcement Learning (MLSS lecture notes)*, Schulman, 2016 9. *Dueling Network Architectures for Deep Reinforcement Learning*, Wang et al., 2016 10. *Reinforcement learning: An introduction*, Sutton and Barto, 2011 ## Todos - Documentation: Work on the documentation has begun but not everything is documented in code yet. Additionally, it would be super nice to have guides for each agents that describe the basic ideas behind it. - TRPO, priority-based memory, A3C, async DQN, ...
Deep Q Learning
qq907177955的博客
05-14 307
转载自：https://www.jianshu.com/p/e6f5e9589285 概述 DQN其实是深度学习和强化学习知识的结合，也就是用Deep Networks框架来近似逼近强化学习中的Q value。其中，使用的Deep Networks有两种框架，分别如下图所示： 框架1 框架1的输入是State和Action，State可以是一个游戏画面，Action可以是向下走，开火等，通过Network输出的是在State的情况下采取Action的Q value。 框架2 框架2的输入是当前的Stat
Deep Q-Learning（DQN）
JacobJiang的博客
07-06 4246
Playing Atari with Deep Reinforcement Learning 《Playing Atari with Deep Reinforcement Learning》 链接 使用强化学习直接从高维感官输入成功学习控制策略的深度学习模型。该模型是一个卷积神经网络，使用Q-learning的变体进行训练，输入为原始像素，输出为估计未来奖励的值函数。 早些时候，从视觉和语言等高维感官输入来控制主体的一些RL应用都依赖于与线性值函数或策略表示相结合的手动设计的特征。现在，在深度学习方面的进展
Deep Q learning toturial
05-01
Deep Q Network 的简称叫 DQN, 是将 Q learning 的优势 和 Neural networks 结合了. 如果我们使用 tabular Q learning, 对于每一个 state, action 我们都需要存放在一张 q_table 的表中. 如果像显示生活中, 情况可就比那个迷宫的状况复杂多了, 我们有千千万万个 state, 如果将这千万个 state 的值都放在表中, 受限于我们计算机硬件, 这样从表中获取数据, 更新数据是没有效率的. 这就是 DQN 产生的原因了. 我们可以使用神经网络来 估算 这个 state 的值, 这样就不需要一张表了.
Deep Recurrent Q-Learning for Partially Observable MDPs笔记
yybbyy123的博客
11-03 615
Deep Recurrent Q-Learning for Partially Observable MDPs笔记摘要相关工作1.DQN2.Partial Observability方法1. DRQN架构2.Stable Recurrent Updates实验Results：总结 文章：Deep Recurrent Q-Learning for Partially Observable MDPs 直通：link 摘要 主要思想就是在DQN基础上加入Recurrent LSTM。之前DQN会限制于memory
Deep Recurrent Q-Learning for Partially Observable MDPs（DRQN）
小蚂蚁与大象
04-23 1180
Abstract　　深度RL已经为复杂的任务提供了精通的控制器。但是，这些控制器的内存有限，并且依赖于能够在每个决策点感知完整的游戏画面。为了解决这些缺点，本文研究了用循环LSTM替换卷积后的第一个全连接层，从而在DQN中增加循环的影响。最终的DRQN尽管每个时间步骤只能看到一个帧，但可以成功地随时间整合信息，并在标准Atari游戏和具有闪烁游戏画面的部分可观察的等效游戏中达到与DQN相当的性能。此外，在接受部分观测值训练并逐步评估更完整的观测值后，DRQN的性能随可观察性而改变。相反，当接受完整观察并经过
Deep Recurrent Q-Learning for Partially Observable MDPs(DRQN)笔记
Melody1211的博客
03-25 785
Deep Recurrent Q-Learning for Partially Observable MDPs 1. 论文讲了什么/主要贡献是什么 传统DQN主要面型MDP的环境，在Atari环境中进行测试的过程中也是采取的输入多个帧的形式，使模型输入的观测能够体现出系统的状态。但现实中大部分都是部分可观测的情况——POMDP，本文在DQN的基础上，结合循环神经网络的特性，将LSTM与DQN结合，...
论文笔记1：Deep Recurrent Q-Learning for Partially Observable MDPs
uuummmimiii的博客
05-27 2745
参考资料： 鼻祖论文： Playing Atari with Deep Reinforcement Learning Human-level control through deep reinforcement learning. 论文笔记之：Deep Recurrent Q-Learning for Partially Observable MDPs 最近老师让看一写DQN...
deep-q-learning：Keras中的最小深度Q学习（DQN和DDQN）实现
02-05
深度学习 通过深度强化学习制作简单的游戏AI简介 Keras和Gym中最小和简单的深度Q学习实现。 不到100行代码！ 博客文章包含dqn.py代码的说明。 为了方便起见，我对该存储库进行了一些细微的调整，例如load和save功能。 我还使memory成为双端队列，而不只是列表。 这是为了限制内存中元素的最大数量。 训练对于dqn.py可能是不稳定的。 ddqn.py减轻了此问题。 我将在下一篇文章中介绍ddqn 。
深度强化学习(Deep Q-learning,DQN)
qq_31244453的博客
10-27 745
参考：莫烦Python 1.什么是DQN? 如图显示，主要由DNN＋Q-Learning组成。 Q-Learning已经显示了它的强大。由于场景复杂，状态太多，计算机运行有限。DQN就为解决这个而生。 强大的DQN输入输出有两种，第一种，输入状态和动作，输出为Q表。第二种，输入状态，输出动作。 分析第二种情况： 反向传播更新DNN。 使得DQN无比强大的两大原因：第一，Experience replay；第二，Fixed Q-targets； ...
Deep Q-Learning深度增强学习算法
段星星的博客
08-25 1755
DQN算法由于某些环境中状态过多，通过传统Q-learning的方法，维护一张规模巨大的Q表显然是不现实的
深度强化学习（1）Deep Q-Learning
weixin_43316082的博客
05-25 809
Deep Q-Learning 强化学习的求解方法，无论是动态规划DP，蒙特卡罗方法MC，还是时序差分TD，使用的状态都是离散的有限个状态集合SSS。此时问题的规模比较小，比较容易求解。但是假如我们遇到复杂的状态集合呢？甚至很多时候，状态是连续的，那么就算离散化后，集合也很大，此时我们的传统方法（如Q-Learning），根本无法在内存中维护这么大的一张Q表。 值函数逼近 由于问题的状态集合规模大...
[RL 1] Deep Recurrent Q-Learning (DRQN)
xyp99的博客
10-02 374
paper: Deep Recurrent Q-Learning for Partially Observable MDPs (AAAI’15) paper source code: https://github.com/mhauskn/dqn/tree/recurrent Motivation DQN局限: 在求解POMDP问题时(take action需history), 我们缺少一种有效整合history的机制. 在DQN中提出的方法是stack 4-frame的图像, 但这种方法只适用于整合图像类
深度强化学习5——Deep Q-Learning(DQN)
谢宜廷的博客
11-05 6410
之前大量叙述了强化学习的基本原理，至此才开始真正的深度强化学习的部分。2013和2015年DeepMind的Deep Q Network（DQN）它用一个深度网络代表价值函数，依据强化学习中的Q-Learning，为深度网络提供目标值，对网络不断更新直至收敛。用DQN从玩各种电子游戏开始，直到训练出阿尔法狗打败了人类围棋选手。本篇文章也主要围绕DeepMind的论文Playing Atari wi...
【reinforcement learning】Deep Q-Learning(DQN)简介
Dr.Hun
09-02 562
Deep Q-Learning(DQN) 一、什么是DQN （一）为什么出现了DQN？     在Q-Learning和Sarsa算法中，我们使用了一种数据结构：Q表，用Q表存储所有的状态以及每个action的Q值。在现实问题中，不仅action种类可能非常多，state的数量更可能是指数级，这就为我们存储Q表和查找对应状态带来了很大的麻烦。在机器学习中，我们可以将state和action输入到神经网络中，神经网络分析后输出action的Q值，然后我们再根据Q-learning的原则执行之后的操作。    
Deep Q-Learning 简介：一起玩 Doom
热门推荐
xfxuezhang.cn
06-06 1万+
本文是使用 Tensorflow 的深度强化学习课程的一部分。 上一次，我们了解了 Q-Learning：一种生成 Q-table 的算法，代理使用它来找到在给定状态下采取的最佳动作。 但正如我们将看到的，在大状态空间环境中，生成和更新 Q 表可能变得无效。 本文是关于深度强化学习系列博文的第三部分。有关更多信息和更多资源，请查看课程大纲。 检查这里的教学大纲。 今天，我们将创建一个深度 Q 神经网络。我们将实现一个神经网络，而不是使用 Q 表，它采用一个状态并根据该状态为每个动作近似 Q 值。
deep q-learning改进
最新发布
03-01
### Deep Q-Learning 的改进方法及其最新进展 #### 使用经验回放机制提升模型泛化能力 为了克服传统Q-learning中样本关联性强的问题，引入了经验回放(experience replay)技术。通过存储agent在过去环境交互过程中产生的大量状态转移四元组$(s, a, r, s')$于记忆库D内，并从中随机抽取小批量(minibatch)用于参数更新，从而打破数据间的顺序依赖关系，使得训练过程更加稳定高效[^2]。 #### 双重网络结构减少估计偏差 针对原始DQN算法中存在的过拟合现象以及价值函数评估不准确的情况，提出了双重DQN(Double DQN)框架。具体而言，在每次迭代时除了维护当前策略对应的在线网络外，还额外保存一份固定版本的目标网络$\hat{Q}$，仅当满足一定条件(如经过若干轮次后)才对其进行同步刷新。如此一来，既能够有效降低TD误差中的正向偏置项影响，又可防止频繁调整带来的震荡风险[^3]。 #### 多步奖励预测优化长期规划性能 传统的单步回报设定往往难以捕捉复杂的序列决策模式，为此有学者尝试借鉴n-step TD的思想，即综合考虑未来多个时刻累积折扣收益作为即时反馈信号的一部分参与到权重修正环节当中去。此举有助于增强智能体对于远期后果的认知水平，进而改善其全局视野下的行动抉择质量。 ```python import torch.nn.functional as F from collections import deque class Agent: def __init__(self): self.memory = deque(maxlen=10000) def learn(self, batch_size, gamma, n_steps=1): transitions = random.sample(self.memory, batch_size) state_batch, action_batch, reward_batch, next_state_batch = zip(*transitions) current_q_values = ... expected_q_values = ... loss = F.smooth_l1_loss(current_q_values, expected_q_values.detach()) optimizer.zero_grad() loss.backward() if isinstance(n_steps,int) and n_steps>1: rewards = [r * (gamma ** i) for i,r in enumerate(reward_batch)] total_rewards = sum([rewards[i:i+n_steps] for i in range(len(rewards)-n_steps+1)],[]) optimizer.step() ``` #### 分布式架构加速大规模分布式计算效率 鉴于现代RL任务通常涉及海量观测空间与动作集合，单纯依靠单一设备难以支撑起庞大的运算需求。因此借助集群资源构建分布式的训练平台成为必然趋势之一。比如Google提出的IMPALA(ACTOR-CRITIC RECURRENT POLICY GRADIENTS)，它巧妙地结合异步优势actor-critic算法同循环神经单元(recurrent neural unit,RNU),实现了跨节点间高效的通信协作机制的同时保持良好的收敛特性。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值