图神经网络（Graph neural networks）综述

论文链接：Graph Neural Networks: A Review of Methods and Applications

Abstract：图（Graph）数据包含着十分丰富的关系型信息。从文本、图像这些非结构化数据中进行推理学习，例如句子的依赖树、图像的场景图等，都需要图推理模型。图网络（Graph neural networks）是一种链接主义模型，它靠图中节点之间的信息传递来捕捉图中的依赖关系。近年来，图卷积网络（Graph Convolutional network）和门控图网络（Gated graph neural network）在众多领域取得了重大的成功。

Introduction

      图是一种结构化数据，它由一系列的对象（nodes）和关系类型（edges）组成。作为一种非欧几里得形数据，图分析被应用到节点分类、链路预测和聚类等方向。图网络是一种基于图域分析的深度学习方法，对其构建的基本动机论文中进行了分析阐述。

卷积神经网络（CNN）是GNN起源的首要动机。CNN有能力去抽取多尺度局部空间信息，并将其融合起来构建特征表示。CNN只能应用于常规的欧几里得数据上（例如2-D的图片、1-D的文本），这些形式的数据可以被看成是图的实例化。随着对GNN和CNN的深入分析，发现其有三个共同的特点：（1）局部连接（2）权值共享（3）多层网络。这对于GNN来说同样有重要的意义。（1）局部连接是图的最基本的表现形式。（2）权值共享可以减少网络的计算量。（3）多层结构可以让网络捕获不同的特征。然而，从CNN到GNN的转变还面临这另一个问题，难以定义局部卷积核和池化操作。如下图所示：

这也阻碍了CNN由传统欧几里得空间向非欧几里得空间的扩展。

 

这另一个动机就是图表示（graph embedding），即如何将图中的节点、边和子图以低维向量的形式表现出来。受启发于表示学习（representation learning）和词嵌入（word embedding），图嵌入技术得到了长足的发展。DeepWalk基于表示学习，被认为是第一种图嵌入技术模型。还有基于SkipGram模型的random walk。以及node2vec，LINE和TADW等。然而以上的这些模型存在两个缺点：（1）图中节点之间不存在任何的参数共享，导致计算量与节点数量呈线性增长。（2）图嵌入技术缺乏泛化能力，导致不能处理动态图或推广至新的图。

GNN相对于传统的神经网络来说也是存在优势的。标准的CNN和RNN网络不能处理图输入这种非顺序排序的特征表示。换句话说，图中节点的排序是没有规律可言的。如果非要用传统的CNN和RNN来处理图数据的话，只能遍历图中节点所有可能的出现顺序作为模型的输入，这对模型的计算能力来说是难以承受的。为了解决这个问题，GNN分别在每个节点上传播，忽略了节点之间输入的顺序。换而言之，GNN的输出是不随节点的输入顺序为转移的。另外，图中的边表示两个节点之间的依赖关系。在传统的神经网络中，这种依赖关系只能通过节点的特征表示来体现。GNN可以依赖周围的状态来更新节点的状态。最后是推理能力，与人类从日常经验中获取推理能力相似，GNN能够从非结构化数据（例如:场景图片、故事片段等）中生成图。与之对比的是，传统CNN和RNN能够从大量经验数据中生成完整的图片和文档，但并不能学习出这种推理图（reasoning graph）。

论文的主要贡献有：

• 提出一种统一的表现形式来展示不同模型中的不同传播步骤。
• 详细介绍了几种主流方法在不同场景中的应用。
• 对GNN面临的over-smoothing、scaling problems、dynamic graph和 non –structural data问题做出分析和展望。

Model