DRL前沿之：Hierarchical Deep Reinforcement Learning

最新推荐文章于 2024-02-07 22:43:06 发布
VIP文章 最新推荐文章于 2024-02-07 22:43:06 发布
阅读量1w 收藏 10
点赞数 1
分类专栏： Deep Reinforcement Learning 深度增强学习DRL 文章标签： 深度增强学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/songrotek/article/details/51384752
版权

1 前言

如果大家已经对DQN有所了解，那么大家就会知道，DeepMind测试的40多款游戏中，有那么几款游戏无论怎么训练，结果都是0的游戏，也就是DQN完全无效的游戏，有什么游戏呢？
这里写图片描述
比如上图这款游戏，叫做Montezuma’s Revenge。这种游戏类似超级玛丽，难在哪里呢？需要高级的策略。比如图中要拿到钥匙，然后去开门。这对我们而言是通过先验知识得到的。但是很难想象计算机如何仅仅通过图像感知这些内容。感知不到，那么这种游戏也就无从解决。

那么这篇文章：
Hierarchical Deep Reinforcement Learning: Integrating Temporal Abstraction and Intrinsic Motivation

时间：2016年4月20号
来源： arXiv.org

尝试解决这种问题。

2 文章思路

它的思路很简单，就是弄一个两个层级的神经网络，顶层用于决策，确定下一步的目标，底层用于具体行为。
这里写图片描述

不得不说，这个想法显而易见（本人也想过啦）但是，问题的关键是

如何确定内在的目标？？&

最低0.47元/天 解锁文章
songrotek
关注
  • 1
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
2017强化学习英文最新综述 Deep Reinforcement Learning: An Overview
01-01
2017强化学习英文最新综述 Deep Reinforcement Learning: An Overview，主要讨论了深度强化学习六个核心要素，六个重要机制和十二个应用。文章从机器学习的背景开始，深入讨论了强化学习。难能可贵的是，本文也讨论了强化学习的最新应用，特别是AlphaGo，机器人，自然语言处理，包括对话系统，机器翻译和文本生成，计算机视觉等。是非常好的入门学习资料。
论文笔记：Hierarchical Deep Reinforcement Learning:Integrating Temporal Abstraction and Intrinsic
qq_40206371的博客
06-18 980
2016 nips 根据上面，有如下的Q-value function使用神经网络Q1,Q2来近似Q1*和Q2*，记他们的损失函数分别为,将Q1和Q2的transition 分别记录到经验回放D1和D2中记第i次训练迭代（epoch）的参数为。 比较了论文的方法（由于这边只有六个状态，所以没有用DQN，直接Q-table）和Q-learning。这里ε会在50,000步内慢慢从1降低到0.1.学习率为2.5*10^{-4} 从3a可以发现论文方法的有效性；从3b可以发现，随着training的进行，到达
Hierarchical Deep Reinforcement Learning: Integrating Temporal Abstraction and Intrinsic Motivation
Vic_Hao的博客
04-26 1368
Research Topic Learning goal-directed behavior in environments with sparse feedback is a major challenge for reinforcement learning algorithms. 这里有两个名词需要注意：goal-directed behavior, sparse feedback 这篇文章...
强化学习：超级马里奥（含代码）
最新发布
qq_54575112的博客
02-07 972
每一次行动(action)后，环境都会给出一个反馈(reward)，这个反馈可以是正的（奖励）也可以是负的（惩罚）。强化学习中的智能代理（也就是我们的玩家）也是这样，它通过不断地尝试和探索，学习如何在游戏世界中生存并获得高分。一开始，它就像是一个游戏新手，总是在同一个地方跌倒，但随着时间的推移，它开始学会了如何跳跃、躲避，甚至是在空中做出华丽的翻转。每一次的尝试都是一次新的探索，每一次的失败都是学习的机会。在这个项目中，我们的主角不再是那个熟悉的胡子水管工，而是一个由深度神经网络驱动的智能代理。
计算机网络理论笔记 (2-2): 应用层 (Application Layer)，DNS 和 P2P
weixin_43861350的博客
12-01 655
文章目录DNS域名系统 (Domain Name System)DNS服务关键思想：层次结构 (Hierarchy)分层命名空间分层管理服务器层次 (Server Hierarchy)TLD, 权威服务器 (Authoritative servers)DNS域名解析DNS缓存，更新记录DNS记录 DNS域名系统 (Domain Name System) 在许多名称服务器的层次结构中实现的分布式数据库 (distributed database)。应用层协议：主机，名称服务器进行通信以解析名称 (地址/名称转
论文阅读之: Hierarchical Object Detection with Deep Reinforcement Learning
a1424262219的博客
11-15 334
Hierarchical Object Detection with DeepReinforcement Learning NIPS 2016 WorkShop 　　Paper :https://arxiv.org/pdf/1611.03718v1.pdf 　　Project Page :https://github.com/imatge-upc/detecti...
深度强化学习(DRL)基础
RuizhiHe
11-28 7756
深度强化学习（Deep Reinforcement Learning）是值得深入学习研究且非常有意思的领域，但是其数学原理复杂，远胜于深度学习，且脉络复杂，概念繁杂。强化学习是一个序贯决策过程，它通过智能体（Agent）与环境进行交互收集信息，并试图找到一系列决策规则（即策略）使得系统获得最大的累积奖励，即获得最大价值。环境（Environment）是与智能体交互的对象，可以抽象地理解为交互过程中的规则或机理，在围棋游戏中，游戏规则就是环境。强化学习的数学基础和建模工具是马尔可夫决策过程（Markov De
Data-Efficient Hierarchical Reinforcement Learning
Ray
05-31 1450
文章来自Google Brain，提出了一种将 off-policy 算法应用在 HRL 框架上的方法 --- HIRO (HIerarchical Reinforcement learning with Off-policy correction)。由于 off-policy 的引入，使得数据可以重复利用，所以叫 "data-efficient"。
机器人强化学习——Data-Efficient Hierarchical Reinforcement Learning
千羽的计算机视觉与机器人
10-15 683
以前的分层强化学习在一个学习的嵌入空间中表示goal和reward，本文直接使用原始形式的观测数据作为goal。并且以前的方法使用on-policy学习 生成目标状态，效率低。离线学习面临的问题：（1）off-policy算法不稳定（2）在离线数据中，相同的高维goal不一定对应相同的低维action。具体解释在后面针对第二个问题，本文提出。
论文阅读【14】HDLTex: Hierarchical Deep Learning for Text Classification
qq_35653657的博客
03-31 1159
越来越多的文本收集需要为搜索、检索、组织文本提供信息处理的方式。而处理文本信息的主要算法之一就是文本分类，它已经成为监督学习的一个重要应用。然而最近传统的文本分类算法随着文本数量的增加，模型性能反而降低了。那是因为随着文本的数量增加文本的类型也增加了。这篇文章的方法处理的问题与目前的文本分类任务不同，处理的是多标签文本分类问题。然而我使用了一种称为分层深度学习文本分类的方法（HDLText）用于分层文本分类。HDLText使用深度学习堆栈架构去专门理解文本的每一个层次的语义信息。
Deep Learning Hierarchical Representations for Image Steganalysis【Ye-Net：图像隐写分析的深度学习层次表示】
wangsanNOLOVE的博客
11-01 2472
Deep Learning Hierarchical Representations for Image Steganalysis 【Ye-Net：图像隐写分析的深度学习层次表示】 Abstract 目前流行的数字图像隐写通信检测方法主要包括残差计算、特征提取和二值分类三个步骤。在本文中，我们提出了一种基于卷积神经网络(CNN)的数字图像隐写分析替代方法，该方法能够在一个统一的框架中很好地复制和优化这些关键步骤，并直接从原始图像中学习层次表示。本文提出的CNN与传统计算机视觉任务中使用的CNN结构有很大的不
强化学习 最前沿之Hierarchical reinforcement learning（一）
热门推荐
Dr.Zee的博客
10-06 1万+
强化学习-Zee最前沿系列 深度强化学习作为当前发展最快的方向，可以说是百家争鸣的时代。针对特定问题，针对特定环境的文章也层出不穷。对于这么多的文章和方向，如果能撇一隅，往往也能够带来较多的启发。 本系列文章，主要是针对当前较新的深度强化学习算法和Trick，浅析其思路和方法，可以帮助你找出新的思路。希望对大家有多帮助。 另外，我会将所有的文章及所做的一些简单项目，放在我的个人网页上。 水平有限，...
Rainbow dqn.pdf
09-02
关于Rainbow dqn的原始论文，适合初学者对深度强化学习Rainbow dqn的认识和了解
DeepRL:Deep Reinforcement Learning Lab，一个旨在让 DRL 技术变得有趣的平台
05-31
Deep Reinforcement Learning(深度强化学习) 本仓库由“深度强化学习实验室(DeepRL-Lab)”创建，希望能够为所有DRL研究者，学习者和爱好者提供一个学习指导。 如今机器学习发展如此迅猛，各类算法层出不群，特别是...
Playing Atari with Deep Reinforcement Learning
03-26
使用深度增强学习玩Atari游戏，不错的论文，值得一看，想快下
Deep Reinforcement Learning for Robotic Arm Control: A Survey
03-03
基于深度强化学习的机械臂控制综述，李彦江，王晨升，深度强化学习（DRL）通过智能体与环境的交互学习策略，在解决复杂决策问题上表现出良好的能力。另一方面，复杂的机械臂控制任务为
awesome-deep-reinforcement-learning:深度强化学习（DRL）的精选清单
05-08
很棒的深度强化学习深度强化学习（DRL）的精选列表：软件框架，模型，数据集，体育馆，基线... 为此，包括具有很多视觉示例的通用机器学习（ML），神经网络（NN）和深度神经网络（DNN），以及具有视频游戏/机器人...
deep reinforcement learning for nlp
09-28
使用强化学习的技术处理自然语言处理的相关问题。deep reinforcement learning for nlp on ACL 2018
Towards Deep Symbolic Reinforcement Learning - 2016 (1609.05518)-计算机科学
04-22
Towards Deep Symbolic [email protected]Deep reinforcement learning (DRL) brings the power of deep neural networks to bear on the generic task of trial-and-error learning, and its effe
Deep Reinforcement Learning Approach for UAV-Assisted Mobile Edge Computing Networks
04-30
Deep reinforcement learning (DRL) is a powerful technique that has been applied to various problems in recent years, including robotics, games, and networking. The integration of DRL with UAV-assisted...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值