Relational Deep Reinforcement Learning

最新推荐文章于 2024-06-13 00:41:07 发布
最新推荐文章于 2024-06-13 00:41:07 发布
阅读量952 收藏 6
点赞数 1
分类专栏： 强化学习及深度强化学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010705932/article/details/105746799
版权
本文介绍了一种结合结构化感知和关系推理的深度强化学习方法，旨在提高效率、泛化能力和可解释性。通过self-attention进行迭代关系推理，agent在Box-World任务中表现出更好的泛化和样本效率，而在星际争霸II迷你游戏中超越了人类特级大师的表现。研究显示，关系计算有助于学习重要关系，提高agent的性能和可解释性。
摘要由CSDN通过智能技术生成

Abstract

我们介绍了一种深度强化学习的方法，它通过结构化感知和关系推理提高了传统方法的效率、泛化能力和可解释性。它使用self-attention来迭代推理场景中实体之间的关系，并指导无模型策略。我们的结果表明，在一种名为Box-World的新的导航和规划任务中，我们的agent找到了可解释的解决方案，这些解决方案在样本复杂性、泛化到比训练期间所经历的更复杂的场景的能力以及整体性能方面都有所改善。在星际争霸II学习环境中，我们的agent在六个迷你游戏上实现了最先进的表现，超过了人类特级大师在四个游戏上的表现。通过考虑架构归纳偏差，我们的工作为克服深度强化学习中重要但顽固的挑战开辟了新的方向。

Introduction

深度强化学习最新进展在一定程度上是由一种能力推动的，即学习良好的内部表示以告知agent的策略。不幸的是，深度强化学习模型仍然面临着重要的限制，即样本效率低，并且倾向于不将其泛化到任务中极小的变化。这些限制表明，大容量的深度强化学习模型往往过度适应它们所训练的大量数据，因此无法学习到对它们试图解决的问题的抽象、可解释和可概括的理解。

在这里，我们通过利用20多年前关系强化学习保护伞(RRL)下的强化学习文献中介绍的见解来改进深度强化学习架构。RRL提倡使用关系状态(和动作)空间和策略表示，将关系学习(或归纳逻辑编程)的泛化能力与强化学习相结合。我们提出了一种在深度学习提供学习动力的同时利用这些优势的方法。我们的方法主张学习和重用以实体和关系为中心的函数，以隐式推理而不是关系表示。

我们的贡献如下：(1)我们创建并分析了一个名为Box-World的强化学习任务，它明确地面向关系推理，并证明了具有使用基于注意力的非局部计算产生关系表示的agent比没有使用非局部计算的agent显示出有趣的泛化行为；(2)我们将该agent应用于一个困难的问题–星际争霸II迷你游戏，并在六个迷你游戏上实现了最先进的性能。

在这里插入图片描述

图1：盒子世界和星际争霸II任务需要对实体及其关系进行推理。

Relational reinforcement learning

RRL背后的核心思想是通过使用一阶(或关系)语言表示状态、动作和策略，将强化学习与关系学习或归纳逻辑规划相结合。从命题表示转换为关系表示可促进对目标，状态和动作的泛化，从而利用在较早学习阶段学到的知识。此外，关系语言还便于背景知识的使用。可以通过与学习问题相关的逻辑事实和规则来提供背景知识。

例如，在块世界中，当指定背景知识时，可以使用上面的谓词(S，A，B)来指示在状态S中块A在块B之上。例如，这样的谓词可以在学习块C和块D的过程中使用。代表性语言、背景和假设形成了归纳偏见，引导(和限制)寻找好的策略。语言(或陈述性)偏见决定了概念的表达方式。

神经网络传统上与属性值或命题强化学习方法相关联。在这里，我们使用神经网络模型，将思想从RRL转换为深度强化学习agent中体系结构指定的归纳偏差，该神经网络模型对组织结构的表示方式(即实体集)进行操作，并通过迭代的、类似于消息传递的处理模式执行关系推理。实体对应于图像的局部区域，agent学习关注关键对象并计算它们的成对和高阶交互。

Architecture

我们为一个深度强化学习agent配备了可能更适合学习(和计算)关系的体系结构归纳偏见，而不是像在RRL中那样将它们指定为背景知识。这种方法建立在以前工作的基础上，该工作表明，关系计算不一定要受到实体空间邻近性的影响，也可以从迭代结构化推理中获益。

我们的贡献基于两个指导原则：使用共享函数的非局部计算和迭代计算。我们表明，与只计算局部交互的agent相比，使用共享函数计算实体之间的成对交互(与实体之间的空间邻近程度无关)将更适合学习重要关系，例如在平移不变卷积中。此外，迭代计算可能能够更好地捕捉实体之间的高阶交互作用。

Computing non-local interactions using a shared functionAmong

在一系列相关的非局部交互计算方法中，我们选择了一种计算效率高的注意机制。这种机制与图神经网络和更一般的消息传递计算有相似之处。在这些模型中，实体与实体的关系是在考虑图的连接节点之间传递的消息时显式计算的。

在这里插入图片描述

图2：Box-World agent体系结构和多头点积注意力。E是一个矩阵，它编译由视觉前端产生的实体；fθ是一个多层感知机，平行于MHDPA步骤A的输出的每一行，并产生更新的实体波浪E。

我们首先假设我们已经有了一组必须进行交互的实体。我们认为多头点积注意力(MHDPA)，或self-attention，是计算这些实体之间互动的操作。

对于 N N N个实体( e 1 : N e_{1:N} e1:N​)，MHDPA将每个实体 i i i的状态向量 e i e_i ei​分别投影到查询、键和值向量表示： q i q_i qi​、 k i k_i ki​、 v i v_i vi​，随后使用[31]中的方法将其活动归一化为具有0均值和单位方差。通过点积将每个 q i q_i qi​与所有实体的键 k 1 : N k_{1:N} k1:N​进行比较，以计算非归一化显著性

最低0.47元/天 解锁文章
半月夏微凉
关注
专栏目录
Relational Deep Reinforcement Learning（DeepMind提出关系性深度强化学习：在星际争霸2任务中获得最优水平）
06-08
2018.6.8，DeepMind提出关系性深度强化学习：在星际争霸2任务中获得最优水平，在本文中，我们介绍了一种深度强化学习方法，它可以通过结构化感知和关系推理提高常规方法的效率、泛化能力和可解释性。
Relational Reinforcement Learning: An Overview
半夏微凉的博客
04-25 649
Abstract 关系强化学习（RRL）既是一个年轻的领域，又是一个古老的领域。 在本文中，我们追溯了该领域的历史和相关学科，概述了一些当前的工作和有希望的新方向，并调查了未来的研究问题和机会。 Introduction 长期以来，将学习与解决问题相结合一直是人工智能的梦想。 尽管这似乎与分而治之的原则背道而驰，但仍有许多充分的理由采用这种综合方法。 解决问题通常在计算上很困难，并且如果不学习，a...
Deep Reinforcement Learning 基础知识（DQN方面）
热门推荐
Flood Sung的专栏
01-25 9万+
## Introduction 深度增强学习Deep Reinforcement Learning是将深度学习与增强学习结合起来从而实现从Perception感知到Action动作的端对端学习的一种全新的算法。简单的说，就是和人类一样，输入感知信息比如视觉，然后通过深度神经网络，直接输出动作，中间没有hand-crafted工作。深度增强学习具备使机器人实现完全自主的学习一种甚至多种技能的潜力。
DeepMind 关系型深度强化学习 Relational Deep Reinforcement Learning
04-03
Relational Deep Reinforcement Learning--We introduce an approach for deep reinforcement learning (RL) that improves upon the efficiency, generalization capacity, and interpretability of conventional approaches through structured perception and relational reasoning. It uses self-attention to iteratively reason about the relations between entities in a scene and to guide a model-free policy. Our results show that in a novel navigation and planning task called Box-World, our agent finds interpretable solutions that improve upon baselines in terms of sample complexity, ability to generalize to more complex scenes than experienced during training, and overall performance. In the StarCraft II Learning Environment, our agent achieves state-of-the-art performance on six mini-games – surpassing human grandmaster performance on four. By considering architectural inductive biases, our work opens new directions for overcoming important, but stubborn, challenges in deep RL.
Deep reinforcement learning with relational inductive biases 笔记
想写就写咯
02-22 695
文章目录前言背景MethodRL方法输入模块关系模块输出模块实验BOX-WORLD 前言 这是一个使用结构化特征上关系推理的机制帮助model-free的深度强化学习的方法，提高了表现、学习有效性、泛化性、可解释性。这篇文章的主要贡献就是介绍一种技术，通过关系归纳偏置来表征和推理深度强化学习中agent的状态。 背景 深度强化学习在一些具有挑战性的问题上实现非凡的效果很大程度上是因为其在如何学习和...
deep reinforcement learning
10-25
深度增强学习（Deep Reinforcement Learning，简称DeepRL）是人工智能领域的一个重要分支，它结合了深度学习（Deep Learning，简称DL）与增强学习（Reinforcement Learning，简称RL）的技术，用于处理复杂决策过程中...
Deep Reinforcement Learning
09-02
The topic of this book is Reinforcement Learning—which is a subfield of Machine Learning—focusing on the general and challenging problem of learning optimal behavior in complex environment. The learning process is driven only by reward value and observations obtained from the environment. This model is very general and can be applied to many practical situations from playing games to optimizing complex manufacture processes.
Deep Reinforcement Learning through Policy Optimization
11-19
深度强化学习 Deep Reinforcement Learning through Policy Optimization Pieter Abbeel Open AI / Berkeley AI Research Lab Slides made in collabora<on with John Schulman
DEEP REINFORCEMENT LEARNING
09-08
We give an overview of recent exciting achievements of deep reinforcement learning (RL). We discuss six core elements, six important mechanisms, and twelve applications. We start with background of machine learning, deep learning and reinforcement learning. Next we discuss core RL elements, including value function, in particular, Deep Q-Network (DQN), policy, reward, model, planning, and exploration. After that, we discuss important mechanisms for RL, including attention and memory, unsupervised learning, transfer learning, multi-agent RL, hierarchical RL, and learning to learn.
深度强化学习 Deep Reinforcement Learning
无无
07-12 1433
深度强化学习
深度强化学习deep reinforcement learning
hushangjie123的博客
01-20 320
Lecture content of deep reinforcement learning: An overview of reinforcement learning Markov decision process Monte Carlo method Model based reinforcement learning Reinforcement learning based on sampling estimation Reinforcement learning based
深度强化学习 (Deep Reinforcement Learning)
最新发布
AI天才研究院
06-13 973
深度强化学习 (Deep Reinforcement Learning) 1.背景介绍 深度强化学习（Deep Reinforcement Learning, DRL）是人工智能领域的一个重要分支，它结合了深度学习和强化学习的优势，能够在复杂环境中实现智能
relational inductive biases, deep learning, and graph networks
04-11
关系归纳偏置、深度学习和图网络的关系是什么？ 这是关于深度学习和图网络之间的关系以及它们如何利用关系归纳偏置的一个问题。关系归纳偏置指的是，在处理一个含有关系的问题时，我们的大脑有一些天然的偏好和策略...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值