Playing Atari with Deep Reinforcement Learning算法解读

最新推荐文章于 2022-09-02 23:15:29 发布
最新推荐文章于 2022-09-02 23:15:29 发布
阅读量4.1k 收藏 9
点赞数 4
分类专栏： caffe 机器学习 增强学习 深度学习 DQN 文章标签： DQN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hmxiaobao/article/details/51297890
版权

前言

最近一直弄RL，看了一下DeepMind的文章和代码。记录一下个人对算法的理解。

文章地址
http://outlace.com/Reinforcement-Learning-Part-3/
dqn-in-the-caffe

解析

直接上图

DQN

1，初始化replay memory D 容量为N
2，用一个深度神经网络作为Q值网络，初始化参数weight
3，设定游戏片段总数M
4，初始化网络输入，大小为84*84*4，并且计算网络输出
5，随机选择action或者通过网络输出的Q（max）值选择action–>a
6，得到执行a后的下一个网络输入和操作a的reward–>r
7，计算下一时刻网络的输出
8，将四个参数作为此刻的状态一起存入到D中（D中存放着N个时刻的状态）
9，随机从D中取出minibatch个状态
10，计算每一个状态的目标值（通过执行a后的reward来更新Q值作为目标值）
11，通过SGD更新weight

注释：在Q值中使用均方差mean-square error 来定义目标函数objective function也就是loss function。可以看到，这里就是使用了Q-Learning更新的Q值作为目标值。有了目标值，又有当前值，那么偏差就能通过均方差来进行计算。

zhao-xin
关注
  • 4
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Paper Reading 1 - Playing Atari with Deep Reinforcement Learning
Flood Sung的专栏
01-25 2万+
来源：NIPS 2013作者：DeepMind理解基础： 增强学习基本知识 深度学习 特别是卷积神经网络的基本知识 创新点：第一个将深度学习模型与增强学习结合在一起从而成功地直接从高维的输入学习控制策略具体是将卷积神经网络和Q Learning结合在一起。卷积神经网络的输入是原始图像数据（作为状态）输出则为每个动作对应的价值Value Function来估计未来的反馈Reward实验成果：使用同一个
Playing Atari with Deep Reinforcement Learning
03-26
使用深度增强学习玩Atari游戏，不错的论文，值得一看，想快下
【论文翻译】Playing Atari with Deep Reinforcement Learning
weixin_40523230的博客
10-18 7497
摘要：我们第一个提出了"利用强化学习从高维输入中直接学习控制策略"的深度学习模型。该模型是一个卷积神经网络，经过Q-learning训练，输入为原始像素，输出为：“用来估计未来reward”的值函数。我们将我们的方法应用于游戏环境下的7款atari 2600游戏，没有调整过架构或学习算法。我们发现它在6个游戏中超越了所有以前的方法，并且在3个游戏中超过了人类专家。 1 . Introduct...
Playing Atari with Deep Reinforcement Learning（DQN）文献翻译.pdf
06-11
文献翻译，格式做的比较认真，公式图片都做了翻译，格式符合规范。适用于作业，课设，毕设文献翻译
Replicating-DeepMind:复现 DeepMind 的“Playing Atari with Deep Reinforcement Learning”的结果
06-25
复制-DeepMind 复现 DeepMind 的“Playing Atari with Deep Reinforcement Learning”的结果。 所有信息都在我们的。 进度：系统已启动并在带有 cuda-convnet2 的 GPU 集群上运行。 它可以学习比随机播放更好，但还...
看DeepMind如何用Reinforcement learning玩游戏
aihali的专栏
04-07 1478
说到机器学习最酷的分支，非Deep learning和Reinforcement learning莫属（以下分别简称DL和RL）。这两者不仅在实际应用中表现的很酷，在机器学习理论中也有不俗的表现。DeepMind工作人员合两者之精髓，在Stella模拟机上让机器自己玩了7个Atari 2600的游戏，结果是玩的冲出美洲，走向世界，超越了物种的局限。不仅战胜了其他机器人，甚至在其中3个游戏中超越
(转) Playing FPS games with deep reinforcement learning
a1424262219的博客
12-11 395
Playing FPS games with deep reinforcementlearning 博文转自：https://blog.acolyer.org/2016/11/23/playing-fps-games-with-deep-reinforcement-learning/ When I wrote up ‘Asynchronous methods...
Playing Atari with Deep Reinforcement Learning 学习笔记
qq_43213352的博客
09-03 454
论文笔记 一.基本信息 标题：Playing Atari with Deep Reinforcement Learning 时间： 出版源： 领域分类：AI Deep Reinforcement Learning 论文概述： 本篇论文提出了将深度学习和强化学习结合起来的模型，利用强化学习成功地从高维感官输入中学习控制策略的深度学习模型，该模型是用Q-learning的变体训练的卷积神经网络，其输入是原始像素，输出是估计未来奖励的估值函数。通过作者此方法训练的神经网络来玩7个Atari 2600游戏，我们发现
论文总结 - Playing Atari with Deep Reinforcement Learning
bug404
05-14 930
论文地址
论文学习——Playing Atari with Deep Reinforcement Learning
xianyuqishi的博客
09-02 587
论文学习——Playing Atari with Deep Reinforcement Learning
DQN-[Playing Atari with Deep Reinforcement Learning]
Redflashing
12-04 487
Playing Atari with Deep Reinforcement Learning，DQN 详解
【强化学习】Playing Atari with Deep Reinforcement Learning （2013）
HTS's Blog
04-18 2006
Playing Atari with Deep Reinforcement Learning （2013） 这篇文章提出了第一个可以直接用强化学习成功学习控制policies的深度学习模型。 输入是raw pixels，输出是可以估计出为了的奖励的value function。 Introduction 学习直接从高维的感观输入（视觉，语音）去直接控制智能体是强化学习一个长期的挑战。一些成功的R...
Playing FPS Games with Deep Reinforcement Learning
deye1979的专栏
02-26 103
论文不同点： （1）用两套网络分别实现移动和射击。 （2）使用LSTM来处理不完全信息。 疑问： （1）为什么对于射击使用RNN，对导航却没有使用RNN。一般来说，当我们看见视野里面有敌人的时候，我们可以立即进行射击，似乎不太需要长久的历史信息，再官方给出的视频中，我也没发现RNN有什么好处。另一方面，倒是导航应该使用RNN，对于非完全信息来说，bot只根据当前的画面并不能判断...
[DQN] Playing Atari with Deep Reinforcement Learning
超级超级小天才的博客
06-01 638
论文链接：https://arxiv.org/abs/1312.5602 引用：Mnih V, Kavukcuoglu K, Silver D, et al. Playing atari with deep reinforcement learning[J]. arXiv preprint arXiv:1312.5602, 2013. 概述 Deep Reinforcement Learning (DQN) 是一个 model-free、off-policy 的强化学习算法，使用深度神经网络作为非线性的函数
playing atari with deep reinforcement learning
最新发布
03-16
"Playing Atari with Deep Reinforcement Learning" 是一篇由 DeepMind 发表的论文，论文中介绍了如何使用深度强化学习算法来让计算机自主学习玩 Atari 游戏。这篇论文中使用的算法是 Deep Q-Network (DQN)，它结合...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值