Paper reading: Playing Atari with Deep Reinforcement Learning

最新推荐文章于 2023-09-09 22:22:27 发布
最新推荐文章于 2023-09-09 22:22:27 发布
阅读量369 收藏 2
点赞数
分类专栏： PaperReading
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40485472/article/details/88683307
版权
该论文提出将深度神经网络与Q-learning结合，形成Deep Q-Network（DQN），用于解决Atari游戏。DQN利用CNN处理游戏画面，通过经验回放缓冲区降低数据相关性，实现更稳定的训练。此外，引入经验回放解决了RL中数据分布随策略变化的问题，有效避免了学习过程中的震荡或不收敛。
摘要由CSDN通过智能技术生成

论文的Motivation是大部分效果比较好的RL算法都是基于大量的人工特征，而Deep Neural Network（CNN等）已经在图像等领域被证明具有很好的直接从原始数据中提取高层特征的能力，因此很自然的想到将Deep Neural Network与RL算法结合。

但是Deep learning与reinforcement learning有很大的不同：

1. deep learning 在训练时需要大量的有标注的训练数据； 而rl是通过与环境交互得到奖赏，通常这个奖赏还是稀疏、延时的

2. deep learning中要求input的数据是独立的； rl中数据是交互的sequence， 具有很高的相关性

3. deep learning中数据的分布是一个固定的，训练的过程相当于是找从一个固定的分布到另一个分布的映射；而rl中的数据分布随着policy的更新是变化的。

本篇论文基于Q-learning提出了DQN（Deep Q-Network），将deep neural network与Q-learning结合，同时针对上述deep learning和rl之间的问题做了一些改进。

回顾Q-learning：

Q-learning是value-based，off-policy的方法，用TD的方法估计value function，Q-function更新：

        Q(s_t,a) \leftarrow r_{s_t} + max_{a'}Q(s, a')     (产生

最低0.47元/天 解锁文章
ippputeeel
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【强化学习】Playing Atari with Deep Reinforcement Learning （2013）
HTS's Blog
04-18 2005
Playing Atari with Deep Reinforcement Learning （2013） 这篇文章提出了第一个可以直接用强化学习成功学习控制policies的深度学习模型。 输入是raw pixels，输出是可以估计出为了的奖励的value function。 Introduction 学习直接从高维的感观输入（视觉，语音）去直接控制智能体是强化学习一个长期的挑战。一些成功的R...
Paper Reading 1 - Playing Atari with Deep Reinforcement Learning
热门推荐
Flood Sung的专栏
01-25 2万+
来源：NIPS 2013作者：DeepMind理解基础： 增强学习基本知识 深度学习 特别是卷积神经网络的基本知识 创新点：第一个将深度学习模型与增强学习结合在一起从而成功地直接从高维的输入学习控制策略具体是将卷积神经网络和Q Learning结合在一起。卷积神经网络的输入是原始图像数据（作为状态）输出则为每个动作对应的价值Value Function来估计未来的反馈Reward实验成果：使用同一个
算法笔记：Playing Atari with Deep Reinforcement Learning
彩虹糖的博客
08-11 7309
Playing Atari with Deep Reinforcement Learning 比较尴尬，上篇文章不是DQN的来源，这篇才是。上篇Nature文章对于DQN做出的改进上次没读明白，查看其他资料，做实践的时候才明白。关于Nature的改进下面会提到。 基本信息 作者：VolodymyrMnih KorayKavukcuoglu DavidSilver AlexGrav...
【5分钟 Paper】Playing Atari with Deep Reinforcement Learning
小小何先生的学习之旅
02-23 1134
论文题目：Playing Atari with Deep Reinforcement Learning 所解决的问题？   解决从高维传感器获取数据而端到端实现控制的难题(以前很多都是使用手工提取的特征)。所使用的例子：直接用图像数据学会控制Atari游戏，并且达到了人类水平。 背景   在这之前已经有很多研究工作是直接从高维数据直接获取输出结果的例子。如视觉和语音方面(文末参考文献中有具体...
【论文翻译】Playing Atari with Deep Reinforcement Learning
weixin_40523230的博客
10-18 7480
摘要：我们第一个提出了"利用强化学习从高维输入中直接学习控制策略"的深度学习模型。该模型是一个卷积神经网络，经过Q-learning训练，输入为原始像素，输出为：“用来估计未来reward”的值函数。我们将我们的方法应用于游戏环境下的7款atari 2600游戏，没有调整过架构或学习算法。我们发现它在6个游戏中超越了所有以前的方法，并且在3个游戏中超过了人类专家。 1 . Introduct...
Playing Atari with Deep Reinforcement Learning
weixin_37958272的博客
12-03 523
Playing Atari with Deep Reinforcement Learning 我们提出了第一个利用强化学习直接从高维感官输入成功学习控制策略的深度学习模型。该模型是一个卷积神经网络，用Q-learning的一个变种进行训练，其输入是原始像素，其输出是一个估计未来奖励的价值函数。我们将我们的方法应用于街机学习环境中的七个Atari 2600游戏，没有调整结构或学习算法。我们发现，它在其中6个游戏上的表现超过了以前所有的方法，在其中3个游戏上超过了人类专家。 1 Introduction 学习直
DQN:Playing Atari with Deep Reinfocement Learning
DarrenXf的专栏
02-23 1034
Playing Atari with Deep Reinfocement Learning 论文地址 https://www.cs.toronto.edu/~vmnih/docs/dqn.pdf 个人翻译，并不权威 深度强化学习玩Atari 摘要 我们提出了第一个成功通过强化学习直接从高维感官输入中学习控制策略的深度学习模型。 该模型是一个卷积神经网络，用Q-learing的变种训练，输入为原始像素，输出为估计未来reward的值函数。 我们将我们的方法应用于七个来自街机学习环境的Atari 2600游戏
Playing Atari with Deep Reinforcement Learning（DQN）文献翻译.pdf
06-11
文献翻译，格式做的比较认真，公式图片都做了翻译，格式符合规范。适用于作业，课设，毕设文献翻译
Replicating-DeepMind:复现 DeepMind 的“Playing Atari with Deep Reinforcement Learning”的结果
06-25
复制-DeepMind 复现 DeepMind 的“Playing Atari with Deep Reinforcement Learning”的结果。 所有信息都在我们的。 进度：系统已启动并在带有 cuda-convnet2 的 GPU 集群上运行。 它可以学习比随机播放更好，但还...
Playing atari with deep reinforcement learning
monkey_rose的博客
04-10 883
Introduction 传统RL手动提取选择特征，DL(CNN)可以根据raw sensory的数据抽象出一些high-level特征，DRL的困难： DL训练使用大量的labeled数据，而RL数据量小，且reward和action之间的delay DL样本间独立，RL样本间相关 RL样本的分布随着学习改变，DL中设定的固定的分布 本文针对2，3困难的方法： experience...
Deep Reinforcement Learning through Policy Optimization
11-19
深度强化学习 Deep Reinforcement Learning through Policy Optimization Pieter Abbeel Open AI / Berkeley AI Research Lab Slides made in collabora<on with John Schulman
论文学习——Playing Atari with Deep Reinforcement Learning
xianyuqishi的博客
09-02 582
论文学习——Playing Atari with Deep Reinforcement Learning
MindSpore实现强化学习玩游戏《Playing Atari with Deep Reinforcement Learning》
最新发布
king_ham的博客
09-09 594
MindSpore实现强化学习玩游戏
看DeepMind如何用Reinforcement learning玩游戏
aihali的专栏
04-07 1477
说到机器学习最酷的分支，非Deep learning和Reinforcement learning莫属（以下分别简称DL和RL）。这两者不仅在实际应用中表现的很酷，在机器学习理论中也有不俗的表现。DeepMind工作人员合两者之精髓，在Stella模拟机上让机器自己玩了7个Atari 2600的游戏，结果是玩的冲出美洲，走向世界，超越了物种的局限。不仅战胜了其他机器人，甚至在其中3个游戏中超越
论文分享 --＞强化学习--＞Playing Atari with Deep Reinforcement Learning
村头陶员外的博客
08-08 1174
本次要总结分享的是DeepMind出品的强化学习经典DQN原始论文，论文链接DQN Paper，DeepMind使用该DQN方法，在某些电玩游戏上，机器表现超越人类。 动机和创新点 本篇论文所提方法是第一个将深度网络和强化学习结合起来进行训练的方法，具体而言，将深度网络（卷积网络）提取高维特征，使用Q-learning的学习方式来训练整个网络。 对于一些高维复杂场景，状态特征很难通过人工特征工程的方式提取，这对传统的一些强化学习算法带来挑战，而近些年流行的深度学习，能很好的从高维特征提取到高级特征，并且在
Deep Mind 团队论文Playing Atari with Deep Reinforcement Learning复现
qq_41816368的博客
07-06 1277
tensorlfow实现DQN玩Atari打砖块
[DQN] Playing Atari with Deep Reinforcement Learning
超级超级小天才的博客
06-01 634
论文链接：https://arxiv.org/abs/1312.5602 引用：Mnih V, Kavukcuoglu K, Silver D, et al. Playing atari with deep reinforcement learning[J]. arXiv preprint arXiv:1312.5602, 2013. 概述 Deep Reinforcement Learning (DQN) 是一个 model-free、off-policy 的强化学习算法，使用深度神经网络作为非线性的函数
playing atari with deep reinforcement learning
03-16
"Playing Atari with Deep Reinforcement Learning" 是一篇由 DeepMind 发表的论文，论文中介绍了如何使用深度强化学习算法来让计算机自主学习玩 Atari 游戏。这篇论文中使用的算法是 Deep Q-Network (DQN)，它结合...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值