RL论文阅读【一】Playing Atari with Deep Reinforcement Learning

最新推荐文章于 2022-06-02 12:58:07 发布
最新推荐文章于 2022-06-02 12:58:07 发布
阅读量1.4k 收藏 4
点赞数 1
分类专栏： 强化学习 文章标签： DRL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/taoyafan/article/details/90582030
版权

1 废话

开始要认真的读论文的，计划每天晚上回宿舍看一半，两天看完一篇，第三天写博客总结，虽然有点慢吧，但是积少成多嘛~

今天先介绍第一篇，也是深度强化学习的开山之作。

2 动机

一般把这篇论文称作深度强化学习的第一篇论文，该论文发表与2013年，受到2012年Hitton和学生Alex在image net获得冠军的影响，第一次将深度学习和强化学习结合，其实就是用了CNN做观测的处理。

3 内容

（1）观测的图像的预处理（后文提到的观测为预处理后的）：把210*160，128种颜色的转为灰度图，然后下采样得到110*84，然后裁剪为84*84。

（2）观测到状态的处理：将最近的4次的观测作为当前的状态，也就是网络的输入是84*84*4。

（3）网络结构：第一个隐藏层是16个8*8的卷积核，stride为4，激活函数为rectifier nonlinearity（我看不懂，是RELU吗？求解）；第二个隐藏层是32个4*4的卷积核，stride为2，激活函数同样为rectifier nonlinearity；第三个隐藏层是全连接，256个神经元；最后输出层同样是全连接，神经元个数与动作个数相同（4到18个）。

（4）经验回放（Experience Replay）：一个FIFO，大小为1000万。

（5）奖赏的设定：获得正的游戏分数时奖赏为1，负的为-1，否则为0.

（6）训练的过程：优化方法为RMSProp，batch size 为32，训练时使用\epsilon-greedy，其中\epsilon在前100万次训练中从1降到0.1，之后一直未0.1.

（7）算法：如下图：

DQN算法

4 结果

测试了7个游戏，6个超越现有算法，3个超越人类顶尖选手，主要是算法具有通用性，不同的游戏网络结构和超参数基本一样，不需要先验知识，而当前算法需要很多专家知识，所以可以说是结果特别好吧。

 

参考：Playing Atari with Deep Reinforcement Learning

taoyafan
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
【强化学习】Playing Atari with Deep Reinforcement Learning （2013）
HTS's Blog
04-18 2005
Playing Atari with Deep Reinforcement Learning （2013） 这篇文章提出了第一个可以直接用强化学习成功学习控制policies的深度学习模型。 输入是raw pixels，输出是可以估计出为了的奖励的value function。 Introduction 学习直接从高维的感观输入（视觉，语音）去直接控制智能体是强化学习一个长期的挑战。一些成功的R...
Playing Atari with Deep Reinforcement Learning（DQN）文献翻译.pdf
06-11
文献翻译，格式做的比较认真，公式图片都做了翻译，格式符合规范。适用于作业，课设，毕设文献翻译
5.16-CNN实现及原理
weixin_43220896的博客
06-02 339
李宏毅老师机器学习课程笔记
强化学习 Reinforcement Learning（七）—— 值分布强化学习算法 C51
wzduang的博客
03-02 3405
本文主要介绍值分布强化学习的一些基本概念，然后聊一聊值分布强化学习的开山之作 —— C51。
深度学习专业术语
门前大橋下丶
07-06 1210
基础25个深度学习专业名词 https://zhuanlan.zhihu.com/p/27152079 文章目录激活函数算法cnn网络框架NLP大会&挑战赛其他 MLP：Multilayer Perceptron 多层感知器 多层感知器是一种带有多个全连接层的前馈神经网络，这些全连接层使用非线性激活函数（activation function）处理非线性可分的数据。MLP 是多层神经网络或有两层以上的深度神经网络的最基本形式。 Affine Layer 仿射层 神经网络中的一个全连接层。仿射（.
强化学习-李宏毅-算法02：DQN（Deep Q-Learning Network）【Deep Learning Network + Q-Learning 】
u013250861的博客
01-06 7593
DQN（Deep Q-Learning Network）可谓是深度强化学习（Deep Reinforcement Learning，DRL）的开山之作，是将深度学习与强化学习结合起来从而实现从感知（Perception）到动作（ Action ）的端对端（End-to-end）学习的一种全新的算法。由DeepMind在NIPS 2013上发表1，后又在Nature 2015上提出改进版本2。 - DQN（Deep Q-Learning Network）创新点： 1. 基于Q-Learning构造Loss
IT单词（一）ML、DL单词
Missaya的博客
09-05 1129
加油加油！！！！ zero-padding 零填充 channel 颜色通道 rectifier nonlinearity 非线性整流器 stride 步长 filter 滤波器 property 特征 subsampling 二次抽样 pixel 像素 paracea 万能的 validationset 验证集 mean netwo...
Playing Atari with Deep Reinforcement Learning
01-09
这篇论文以Atari游戏为例描述了深度强化学习方法的具体应用，是深度强化学习的经典之作
Replicating-DeepMind:复现 DeepMind 的“Playing Atari with Deep Reinforcement Learning”的结果
06-25
复制-DeepMind 复现 DeepMind 的“Playing Atari with Deep Reinforcement Learning”的结果。 所有信息都在我们的。 进度：系统已启动并在带有 cuda-convnet2 的 GPU 集群上运行。 它可以学习比随机播放更好，但还...
【论文翻译】Mastering the game of Go without human knowledge (无师自通---在不借助人类知识的情况下学会围棋）
热门推荐
hwnbox的博客
06-29 1万+
A long-standing goal of artificial intelligence is an algorithm that learns, tabula rasa, superhuman proficiency in challenging domains. Recently, AlphaGo became the first program to defeat a world ch...
强化学习入门必读论文（DQN相关）
05-05
整理了强化学习入门时必看的论文，主要是有关DQN算法的，致力于强化学习的小伙伴应该必看这些论文的
QUANT[14]强化学习RL论文1：通过深度强化学习实现人的层次控制
プロノCodeSteel
10-20 1400
论文《通过深度强化学习实现人的层次控制》解读 目录 1. 摘要 2.模型 3. 实验设置 4. 结果 5. 结论 6.正文翻译 1. 摘要 The theory of reinforcement learning provides a normative account, deeply rooted in psychological and neuroscientific p...
[DQN] Playing Atari with Deep Reinforcement Learning
超级超级小天才的博客
06-01 634
论文链接：https://arxiv.org/abs/1312.5602 引用：Mnih V, Kavukcuoglu K, Silver D, et al. Playing atari with deep reinforcement learning[J]. arXiv preprint arXiv:1312.5602, 2013. 概述 Deep Reinforcement Learning (DQN) 是一个 model-free、off-policy 的强化学习算法，使用深度神经网络作为非线性的函数
RL论文阅读10-me-RL2.2016
铁锹的填坑记录
05-24 258
Tittle source 标签 Meta-Learning 总结 针对的问题 Data efficiency Fast Learn 解决方法 把agent的学习过程视为一个可以使用标准的RL算法优化的objective，agent使用一个RNN网络来表示，接收past rewards, actions, terminations flags, observations. 它保留着某个MDP过程的所有episodes的信息。当训练好这个网络之后，利用RNN的记忆性，当在面对未见过的MDP时，RNN
【论文翻译】Playing Atari with Deep Reinforcement Learning
weixin_40523230的博客
10-18 7480
摘要：我们第一个提出了"利用强化学习从高维输入中直接学习控制策略"的深度学习模型。该模型是一个卷积神经网络，经过Q-learning训练，输入为原始像素，输出为：“用来估计未来reward”的值函数。我们将我们的方法应用于游戏环境下的7款atari 2600游戏，没有调整过架构或学习算法。我们发现它在6个游戏中超越了所有以前的方法，并且在3个游戏中超过了人类专家。 1 . Introduct...
深度强化学习综述论文 A Brief Survey of Deep Reinforcement Learning
白水的博客
01-28 6739
A Brief Survey of Deep Reinforcement Learning 深度强化学习的简要概述 作者： Kai Arulkumaran, Marc Peter Deisenroth, Miles Brundage, Anil Anthony Bharath 文章目录摘要 Abstract1. 引言 Introduction2. 奖励驱动行为 Reward-Driven Behavior2.1. 马尔科夫决策过程 Markov Decision Processes2.2. 强化学习的挑
【强化学习】AlphaGo Zero详解
zkq_1986的博客
10-30 4950
1 简介 AlphaGo Zero（以下简称Zero）的过程如下图a、b所示，在每个状态s，通过MCTS搜索，获得每个可能move的概率p，其中MCTS搜索采用self-play并执行fθ策略。fθ主要采用微软的ResNet，即基于残差的学习。利用MCTS获得每个可能move的概率p之后，更新fθ权重。最后利用这个fθ评估最后能赢这盘棋的概率v。 2 MCTS 每个节点s（状态），包含若
干货 | 深度学习名词表：57个专业术语加相关资料解析（附论文）
风翼冰舟的博客
10-30 7052
机器之心编译  参与：吴攀 微信公众号：almosthuman2014）授权转载，禁止二次转载，点此为原文链接 本文整理了一些深度学习领域的专业名词及其简单释义，同时还附加了一些相关的论文或文章链接。本文编译自 wildml，作者仍在继续更新该表，编译如有错漏之处请指正。文章中的论文与 PPT 读者可点击阅读原文下载。 激活函数（Activation Fun
playing atari with deep reinforcement learning
最新发布
03-16
"Playing Atari with Deep Reinforcement Learning" 是一篇由 DeepMind 发表的论文，论文中介绍了如何使用深度强化学习算法来让计算机自主学习玩 Atari 游戏。这篇论文中使用的算法是 Deep Q-Network (DQN)，它结合...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值