【论文】Graph Neural Networks: A Review of Methods and Applications

图数据：许多学习任务都需要处理图数据，图数据包含丰富的关系信息。

结构任务：构建物理系统模型，学习分子指纹，预测蛋白质结构以及对疾病进行分类等任务都需要从输入的图中学习。

非结构任务：在非结构学习领域中（如文本和图像），对提取的结构的推理，例如句子的依存关系树和图像的场景图，是重要的研究课题，也需要图推理模型。

图神经网络：图神经网络（GNN）是联结主义模型，可通过图节点之间传递的消息来捕获图的依赖性。与标准神经网络不同，图神经网络保留了一种状态，该状态可以表示来自其邻域的任意深度的信息。

发展：尽管原始GNN已经被发现难以训练得到不动点，但是网络体系结构，优化技术和并行计算的最新进展已使他们能够成功学习。近年来，基于图卷积网络（GCN）和门控图神经网络（GGNN）的系统已经在上述许多任务上展现了突破性的性能。

综述：在本次调查中，我们对现有的图神经网络模型进行了详细的回顾，对应用程序进行了系统分类，并提出了四个未解决的问题，以供将来研究。

1 Introduction

基本动机

图是一种数据结构，可对一组对象（节点）及其关系（边）进行建模。近年来，由于图的强大表达能力，利用机器学习分析图的研究受到越来越多的关注，即图可以用作包括社会科学（社会网络）在内的各个领域的大量系统的表示[1]，[2]，自然科学（物理系统[3]，[4]和蛋白质-蛋白质相互作用网络[5]），知识图[6]和许多其他研究领域[7]。作为用于机器学习的独特的非欧氏数据结构，图分析着重于节点分类，链接预测和聚类。图神经网络（GNN）是在图域上运行的基于深度学习的方法。由于其令人信服的性能和高解释性，GNN最近已成为一种广泛应用的图形分析方法。在以下段落中，我们将说明图神经网络的基本动机。

GNN的第一个动机源于卷积神经网络（CNN）[8]。 CNN具有提取多尺度局部空间特征并将其组合以构建高度表达的表示的能力，这导致了几乎所有机器学习领域的突破，并开始了深度学习的新时代[9]。然而，CNN只能对诸如图像（2D网格）和文本（1D序列）之类的常规欧几里得数据进行操作，而这些数据结构可以视为图的特例。 随着我们对CNN和图形的深入研究，我们发现了CNN的关键：本地连接（local connection），共享权重（shared weights）和层级结构（multi-layer）[9]的使用。 这些对于解决图域问题也非常重要，因为1）图是最典型的局部连接结构。 2）与传统的谱图理论相比，共享权重降低了计算成本[10]。 3）多层结构是处理分层模式的关键，它捕获了各种大小的特征。 因此，很容易想到找到将CNN转换为图形的方法。 但是，如图1所示，很难定义局部卷积滤波器和池化运算符，这阻碍了CNN从欧氏域到非欧氏域的转换。

问题：怎么在图这种结构上定义CNN的卷积运算和池化运算？

另一个动机来自图嵌入，学习用低维向量中表示图节点，边或子图。 在图分析领域，传统的机器学习方法通常依赖于手工设计的功能，并且受其灵活性和高成本的限制。 遵循representation learning的思想和 word embedding [11]成功后，DeepWalk [12]被认为是第一种基于表示学习的图嵌入方法，将SkipGram模型[11]应用于生成的随机游动。 类似的方法，例如node2vec [13]，LINE [14]和TADW [15]也取得了突破。 但是，这些方法有两个严重的缺点[16]。 首先，编码器中的节点之间没有共享参数，这导致计算效率低下，因为这意味着参数的数量随节点的数量线性增长。 其次，直接嵌入方法缺乏泛化能力，这意味着它们无法处理动态图或泛化为新图。

基于CNN和图嵌入，提出了图神经网络（GNN）来聚合图结构中的信息。 因此，他们可以对包含元素及其依存关系的输入和/或输出进行建模。 此外，图神经网络可以使用RNN kernel同时对图上的扩散过程进行建模。

值得研究的根本原因

在下面的部分中，我们解释了图神经网络值得研究的根本原因。首先，像CNN和RNN这样的标准神经网络无法正确处理图输入，因为它们按特定顺序堆叠了节点的特征。但是，图中的节点没有自然顺序。为了完整地呈现图，我们应该遍历所有可能的阶数作为模型的输入，例如CNN和RNN，这在计算时非常多余。为了解决这个问题，GNN分别在每个节点上传播，而忽略节点的输入顺序。换句话说，GNN的输出对于节点的输入顺序是不变的。其次，图中的边表示两个节点之间的依赖关系信息。在标准的神经网络中，依赖信息仅被视为节点的特征。但是，GNN可以通过图结构进行传播，而不必将边用作特征的一部分。通常，GNN通过节点附近状态的加权总和来更新节点的隐藏状态。第三，推理是高级人工智能的一个非常重要的研究课题，人脑的推理过程几乎是基于从日常经验中提取的图。标准神经网络已经显示出通过学习数据分布来生成合成图像和文档的能力，而它们仍然无法从大型实验数据中学习推理图。但是，GNN试图从诸如场景图片和故事文档之类的非结构数据生成图，这可以成为进一步高级AI的强大神经模型。最近，已经证明，具有简单架构的未经训练的GNN效果也很好[17]。

关于图神经网络有一些全面的综述。
[18]：给出了早期图神经网络方法的正式定义。
[19]：展示了图神经网络的逼近性质和计算能力。
[20]：提出了一个统一的框架MoNet，将CNN架构泛化到非欧几里德域（图形和流形），并且该框架可以泛化图[2]，[21]上的几种频谱方法以及流形上的一些模型[22]，[23]，[24]对几何深度学习进行了全面的回顾，提出了它的问题，困难，解决方案，应用和未来方向。 [20]和[24]专注于将卷积泛化为图或流形，但是在本文中，我们仅关注图上定义的问题，我们还研究了图神经网络中使用的其他机制，例如门机制，注意力机制和跳过连接。
[25]：提出了消息传递神经网络（MPNN），它可以推广几种图神经网络和图卷积网络的方法。它给出了消息传递神经网络的定义，并证明了其在量子化学中的应用。
[26]：提出了一种非本地神经网络（NLNN），它统一了几种“自我注意”式的方法。但是，该模型未在原始论文的图形上明确定义。着眼于特定的应用领域，[25]和[26]仅给出了如何使用其框架来概括其他模型的示例，并且未提供对其他图神经网络模型的评论。
[27]：提出了图网络（GN）框架。该框架具有强大的泛化其他模型的能力，其关系归纳偏差促进了组合泛化，这被认为是AI的重中之重。但是，[27]是零件立场文件，零件审查和零件统一，并且仅给出了应用程序的粗略分类。在本文中，我们对不同的图神经网络模型以及应用程序的系统分类学进行了全面的回顾。

总而言之，本文对图神经网络进行了广泛的调查，并做出了以下贡献：

• 我们对现有的图神经网络模型进行了详细的回顾。 我们介绍了原始模型，它的变体和几个通用框架。 我们研究了该领域中的各种模型，并提供了统一的表示形式，以呈现不同模型中的不同传播步骤。 通过识别相应的聚合器和更新器，可以使用我们的表示轻松区分不同的模型。
• 我们对应用程序进行系统分类，并将应用程序分为结构性方案，非结构性方案和其他方案。 我们介绍了几种主要应用程序及其在不同情况下的相应方法。
• 我们提出四个未解决的问题，以供将来研究。 图神经网络存在过度平滑和缩放问题。 仍然没有有效的方法来处理动态图以及对非结构感官数据进行建模。 我们将对每个问题进行详尽的分析，并提出未来的研究方向。、

2 Models

图神经网络是非欧几里得结构上的有用工具，并且文献中提出了各种方法来尝试提高模型的功能。

在第2.1节中，我们描述了[18]中提出的原始图神经网络。 我们还列出了原始GNN在表示能力和训练效率方面的局限性。
在第2.2节中，我们引入了图神经网络的几种变体，旨在解决这些限制。 这些变体在具有不同类型的图上运行，利用不同的传播函数和高级训练方法。
在第2.3节中，我们提出了三个通用框架，它们可以概括和扩展一部分工作。 详细来说，消息传递神经网络（MPNN）[25]统一了各种图神经网络和图卷积网络方法。 非局部神经网络（NLNN）[26]统一了几种“自我注意”式的方法。 图网络（GN）[27]可以概括本文提到的几乎每个图神经网络变体。

在进一步介绍不同部分之前，我们给出了将在本文中使用的符号。 有关这些符号的详细说明，请参见表1。

2.1 Graph Neural Networks

图神经网络（GNN）的概念最早在[18]中提出，它扩展了现有的神经网络，用于处理图域中表示的数据。 在图中，每个节点自然是由其特征和相关节点定义的。 GNN的目标是学习嵌入h v∈R s的状态，其中包含每个节点的邻域信息。 嵌入状态h v是节点v的s维向量，可用于产生输出v，例如节点标签。 令f为参数函数，称为局部转移函数，该函数在所有节点之间共享，并根据输入邻域更新节点状态。 并让g为描述输出产生方式的本地输出函数。 然后，h v和o v定义如下：