Relational inductive biases, deep learning, and graph networks阅读笔记

论文标题： Relational inductive biases, deep learning, and graph networks

论文地址: https://arxiv.org/pdf/1806.01261.pdf
项目地址：https://github.com/deepmind/graph_nets

文章导读

  这篇文章联合了DeepMind、谷歌大脑、MIT和爱丁堡大学的27名作者（其中22人来自DeepMind），用37页的篇幅，对关系归纳偏置和图网络（Graph network）进行了全面阐述。
那么，这篇论文是关于什么的呢？DeepMind的观点和要点在这一段话里说得非常清楚：
  这既是一篇意见书，也是一篇综述，还是一种统一。我们认为，如果AI要实现人类一样的能力，必须将组合泛化（combinatorial generalization）作为重中之重，而结构化的表示和计算是实现这一目标的关键。
正如生物学里先天因素和后天因素是共同发挥作用的，我们认为“人工构造”（hand-engineering）和“端到端”学习也不是只能从中选择其一，我们主张结合两者的优点，从它们的互补优势中受益。

  在论文里，作者探讨了如何在深度学习结构（比如全连接层、卷积层和递归层）中，使用关系归纳偏置（relational inductive biases），促进对实体、对关系，以及对组成它们的规则进行学习。
  他们提出了一个新的AI模块——图网络（graph network），是对以前各种对图进行操作的神经网络方法的推广和扩展。图网络具有强大的关系归纳偏置，为操纵结构化知识和生成结构化行为提供了一个直接的界面。
作者还讨论了图网络如何支持关系推理和组合泛化，为更复杂、可解释和灵活的推理模式打下基础。

论文简介

Abstract

  人工智能最近经历了一场复兴，在视觉、语言、控制和决策等关键领域取得了重大进展。取得这些进展的部分原因是由于廉价的数据和计算资源，它们符合深度学习的天然优势。然而，在不同压力下发展起来的人类智力，其许多决定性特征对于目前的方法而言仍是触不可及的。特别是，超越经验的泛化能力——人类智力从幼年开始发展的标志——仍然是现代人工智能面临的巨大挑战。

  本论文包含部分新研究、部分回顾和部分统一结论。我们认为组合泛化是人工智能实现与人类相似能力的首要任务，而结构化表示和结构化计算是实现这一目标的关键。正如生物学把自然与人工培育相结合，我们摒弃“人工构造”与“端到端”学习二选一的错误选择，而是倡导一种利用它们互补优势的方法。我们探索在深度学习架构中使用关系归纳偏置如何有助于学习实体、关系以及构成它们的规则。我们为具有强烈关系归纳偏置的 AI 工具包提出了一个新构造块——图网络（Graph Network），它泛化并扩展了各种对图进行操作的神经网络方法，并为操作结构化知识和产生结构化行为提供了直接的接口。我们讨论图网络如何支持关系推理和组合泛化，为更复杂的、可解释的和灵活的推理模式奠定基础。

1 Introduction（介绍）

一些定义和阐述：

• 组合泛化（combinatorial generalization）：对应的是语言的可以无限生成的能力, 从有限的词汇和规则中,通过组合可以生成无限的序列和意义。论文中的定义为：constructing new inferences, predictions, and behaviors from known building blocks。

• 认知机制（cognitive mechanism）：对关系的复杂心理结构表征, 以及基于关系的推理, 构成了人的认知系统, 而认知系统衍生了人类强大的组合泛化能力。

• 接着，介绍了解释的本质（The Nature of Explanation），是学术界对人去理解解释世界的模型。
  指出我们在学习的时候(接受一个正确实例的时候), 可以做两个事情：

• 将新的知识放入已有的结构化知识框架

• 调整框架去适应新的知识.

• 现在的实现组合泛化的系统

   逻辑、语法、经典规划、图形模型、因果推理、贝叶斯非参数化和概率规划（logic, grammars, classic planning, graphical models, causal reasoning, Bayesian nonparametrics, and probabilistic programming）；
其下面的子领域都明确的以实体和关系为中心进行学习。
人工智能的核心问题是如何构建表现出组合泛化的人工系统，也是许多结构化方法的核心。

• 结构化方法如此重要的原因
  部分是因为数据和计算资源非常昂贵，而结构化方法的强归纳偏置对改进的样本复杂性非常有价值。
• 目前深度学习方法状况
  现代深度学习方法经常遵循“端到端”设计理念，强调最小的先验表征和计算假设，并试图避免显式结构和“人工构造”。并且在很多领域取得了显著成果，比如，图像分类，自然语言处理等等。但是这样就需要大量的数据和大量的计算时间. 并且其无法解决一下几种问题:
  (1)复杂的语言以及场景的理解
  (2)结构化数据的推理
  (3)不同训练条件下的迁移学习
  (4)小数据量的任务
  需要解决这些问题，就需要添加组合泛化（ combinatorial generalization）
• 早期的结构化方法（有着强归纳偏置） 来解决上述无法解决的问题
  在模拟制造、语言分析、符号操作和其他形式的关系推理等领域中，研究人员开发了各种创新的表示和推理结构化对象的子符号方法（ sub-symbolic approaches）以及关于大脑如何工作的更加综合的理论（more integrative theories for how the mind works）。
• 结构的方法和深度学习方法结合
  文章认为现代人工智能的一个核心是将组合泛化作为首要任务，提倡采用综合方法来实现这一目标，将基于结构的方法和深度学习方法结合起来。最近，在深度学习和结构化方法的交集中出现了一类模型，这些模型关注于对显式结构化数据，特别是对图进行推理的方法。这些方法的共同之处在于，它们都具有在离散实体，以及实体之间的关系上执行计算的能力（have in common is a capacity for performing computation over discrete entities and the relations between them）。 最重要的是，这些方法带有强烈的关系归纳偏置（relational inductive biases），以特定的架构假设的形式，引导这些方法学习实体和关系。
  
• 文章接下来章节的介绍
  （1）通过关系归纳偏见的视角来研究各种深度学习方法，表明