Paper Reading 4:Massively Parallel Methods for Deep Reinforcement Learning

来源：ICML 2015 Deep Learning Workshop

作者：Google DeepMind

创新点：构建第一个用于深度增强学习的大规模分布式结构

该结构由四部分组成：

• 并行的行动器：用于产生新的行为
• 并行的学习器：用于从存储的经验中训练
• 分布式的神经网络：用于表示value function或者policy
• 分布式的经验存储

实验结果：

将DQN应用在该体系结构上，训练的水平在49个游戏中有41个游戏超过没有分布式DQN的水平，并且减少了训练时间

优点：

• 训练效果更好
• 训练时间更短

缺点：

• 并行分布式主要缺点恐怕是能耗高，造价昂贵，门槛高了。一般人没办法搞这个

可改进之处：

主要需要改进的是算法层面。比如DQN一次只训练一个游戏，能不能同时训练多个同一个游戏来提升速度？

详细分析：

Introduction 介绍

再看这些介绍，就有点废话了：Deep Learning 在视觉和语音上取得了巨大的进展，归因于能够自动的提取高level的特征。当前增强学习成功地结合了深度学习的成果，也就是DQN，在Atari 游戏