A Comprehensive Survey on Graph Neural Networks 2019 ——图神经网络综述

论文地址：https://arxiv.org/pdf/1901.00596.pdf

摘要 

•         深度学习近年来彻底改变了许多机器学习任务，从图像分类和视频处理到语音识别和自然语言理解。这些任务中的数据通常表示在欧几里德空间中。然而，越来越多的应用程序从非欧几里德域生成数据，并表示为具有复杂关系和对象之间相互依赖性的图。图数据的复杂性给现有的机器学习算法带来了重大挑战。
•         最近，出现了许多关于扩展图形数据的深度学习方法的研究。在本次调查中，我们提供了数据挖掘和机器学习领域中图形神经网络（GNN）的全面概述。我们提出了一种新的分类法，将最先进的图形神经网络划分为不同的类别。我们专注于图形卷积网络，我们回顾了最近开发的替代架构; 这些学习范例包括图形注意网络，图形自动编码器，图形生成网络和图形时空网络。我们进一步讨论了图神经网络在各个领域的应用，并总结了现有算法在不同学习任务中的开源代码和基准。
•         最后，我们在这个快速发展的领域提出了潜在的研究方向。

关键词：深度学习，图形神经网络，图形卷积网络，图形表示学习，图形自动编码器，网络嵌入

1. 介绍

        最近神经网络的成功推动了模式识别和数据挖掘的研究。许多机器学习任务，如目标检测[1]、[2]、机器翻译[3]、[4]、语音识别[5]等，都曾严重依赖于手工制作的特征工程来提取信息特征集。，卷积神经网络(CNNs)[6]，长短时记忆(LSTM)[7]和自动编码器。深度学习在许多领域的成功部分归功于快速发展的计算资源(如GPU)和大量训练数据的可用性，部分归功于深度学习从欧几里德数据(如图像、文本和视频)中提取潜在表示的有效性。以图像分析为例，在欧几里德空间中，图像可以表示为规则网格。卷积神经网络(CNN)能够利用图像数据[8]的平移不变性、局部连通性和组合性，从而提取出与整个数据集共享的局部有意义的特征，用于各种图像分析任务。

       虽然深度学习在欧几里德数据上取得了巨大成功，但是有越来越多的应用程序从非欧几里德域生成数据并需要进行有效分析。例如，在电子商务中，基于图形的学习系统能够利用用户和产品之间的交互[9]，[10]，[11]来制作高度准确的推荐。在化学中，分子的模型图和生物活性需要被确定用于药物发现[12]，[13]。在引文网络中，论文通过引用相互联系，需要将它们分为不同的组[14]，[15]。图数据的复杂性给现有的机器学习算法带来了重大挑战。这是因为图表数据不规则。每个图都有一个可变大小的无序节点，图中的每个节点都有不同数量的邻居，导致一些重要的操作（例如卷积），这些操作很容易在图像域中计算，但不能直接应用于图域了。此外，现有机器学习算法的核心假设是实例彼此独立。然而，对于图形数据不是这种情况，其中每个实例（节点）通过一些复杂的链接信息与其他（邻居）相关，这些链接信息用于捕获数据之间的相互依赖性，包括引用，友谊和交互。

        近年来，人们对扩展图形数据的深度学习方法越来越感兴趣。在深度学习成功的推动下，研究人员借鉴卷积网络、递归网络和深度自编码的思想，设计了图神经网络工作的体系结构。为了处理图形数据的复杂性，在过去的几年里，对重要操作的新的概括和定义得到了迅速的发展。例如，图1说明了一种图形卷积是如何受到标准2D卷积的启发的。本调查的目的是为想要进入这个快速发展领域的感兴趣的研究人员和想要比较图神经网络算法的专家提供这些方法的全面概述。

图1：2D卷积与图形卷积。

• 图1（a）：二维卷积。与图类似，图像中的每个像素都被视为一个节点，其中邻居由过滤器的大小决定。二维卷积对红色节点及其邻节点的像素值进行加权平均。节点的邻居是有序的，并且具有固定的大小。
• 图1（b）：图形卷积。为了得到红色节点的隐藏表示，图解卷积运算的一个简单解决方案是获取红色节点的节点及其邻居的特征值平均值。与图像数据不同，节点的邻居是无序的并且大小可变。

                                                                            

      图形神经网络的简史   图形神经网络的符号首先在Gori等人的文章中概述。（2005）[16]，并在Micheli（2009）[17]和Scarselli等人进一步阐述。（2009）[18]。这些早期研究通过迭代方式通过递归神经架构传播邻居信息来学习目标节点的表示，直到达到稳定的固定点。这个过程计算成本很高，最近越来越多的努力克服这些挑战[19]，[20]。在我们的调查中，我们概括了图神经网络这个术语来代表所有的图数据深度学习方法。受计算机视觉领域中卷积网络的巨大成功的启发，最近出现了许多方法，最近出现了大量重新定义图形数据卷积表示法的方法。这些方法属于图卷积网络(GCNs)的范畴。

•         Bruna等人(2013)首次提出了对GCNs的突出研究，该研究基于频谱图理论[21]开发了一种图形卷积的变体。从那时起，基于频谱的图卷积网络[12]、[14]、[22]、[23]、[24]得到了越来越多的改进、扩展和逼近。
•        由于频谱方法通常同时处理整个图，且难以并行或缩放到大型图，因此基于空间的图卷积网络近年来发展迅速。这些方法通过聚集相邻节点的信息，直接在图域中进行卷积。结合采样策略，可以在一批节点中进行计算，而不是整个图[25]、[28]，具有提高效率的潜力。
•        近年来，除了图卷积网络外，许多替代的图神经网络也得到了发展。这些方法包括图形注意网络、图形自动编码器、图形生成网络和图形时空网络。关于这些方法分类的详细信息在第3节中给出。

      图神经网络的相关研究。关于图神经网络这一课题，现有的研究综述非常有限。Bronstein等人使用几何深度学习符号[8]对非欧氏域的深度学习方法(包括图和流形)进行了概述。本研究虽然是对图形卷积网络的首次综述，但忽略了几个重要的基于空间的方法，包括[15]、[20]、[25]、[27]、[28]、[29]，它们更新了最先进的基准。此外，本研究并未涵盖许多新开发的架构，而这些架构对于绘制卷积网络图同样重要。本文综述了图形注意网络、图形自动编码器、图形生成网络和图形时空网络等学习范式。巴塔利亚等等。[30]位置图网络作为学习关系数据的构件，在统一的框架下回顾了部分图神经网络。然而，他们的广义框架是高度抽象的，失去了对每个方法从其原始文件的见解。Lee等人[31]对图注意模型(graph attention model)进行了部分研究，图注意模型是图神经网络的一种。最近，Zhang等人在[32]上发表了一份最新的关于图的深度学习的调查，缺少了关于图生成和时空网络的研究。总之,没有一个现有的调查提供了一个全面的概述图神经网络,只覆盖的一些图像卷积神经网络和检查数量有限的作品,从而错过了最近发展的替代神经网络图,如图生成网络和图时空网络。

      图神经网络与网络嵌入的关系  图神经网络的研究与图嵌入或网络嵌入密切相关，是数据挖掘和机器学习领域日益关注的另一个课题。网络嵌入旨在代表网络顶点到一个低维向量空间,通过维护网络拓扑结构和节点内容信息,以便任何后续图像分析任务,如分类、聚类,推荐可以很容易地使用简单的现成的机器学习算法(例如,支持向量机分类)来执行。许多网络嵌入算法都是典型的无监督算法，可以大致分为三组[33]，即，矩阵分解[39]，[40]，随机游动[41]，和深度学习方法。同时进行网络嵌入的深度学习方法属于图神经网络，包括基于图自编码器的算法(如DNGR[42]和SDNE[43])和无监督训练的图卷积神经网络(如,GraphSage [25])。

 

图2 描述了本文中网络嵌入与图神经网络的区别。

 

我们的论文做出了显著的贡献，总结如下:

1. 新的分类   针对图数据深度学习的研究日益增多，提出了一种新的图神经网络分类方法。在这个分类中，gnn被分为五组:图卷积网络、图注意网络、图自动编码器、图生成网络和图时空网络。我们指出了图神经网络和网络嵌入的区别，并绘制了不同图神经网络结构之间的联系。
2. 全面审查   本调查提供了最全面的现代图形数据深度学习技术概述。对于每种类型的图神经网络，我们都对代表性算法进行了详细的描述，并对相应的算法进行了必要的比较和总结。
3. 丰富的资源  该调查提供了丰富的图神经网络资源，包括最先进的算法，基准数据集，开源代码和实际应用。这项调查可以作为一个实践指南，帮助理解、使用和开发不同的深度学习方法，以适应不同的实际应用。
4. 未来的发展方向  本研究也强调了现有算法的局限性，并指出了这一快速发展领域可能的发展方向。

文章组织：文章的其余部分组织如下。

• 第2节定义了一系列与图形相关的概念。
• 第3节阐明了图神经网络的分类。
• 第4节和第5节概述了图神经网络模型。
• 第6节展示了跨不同领域的应用程序。
• 第7节讨论了当前的挑战并提出了未来的方向。第8节总结全文。

                                                                           表1:常用符号。

       T:时间序列中的总时间步长。

                                                                     

2. 定义           

       在本节中，我们将提供基本图形概念的定义。为了便于检索，我们总结了表1中常用的符号。

    定义1(图）：

   定义2（有向图）：

          有向图是所有边都从一个节点指向另一个节点的图。对于有向图 ；无向图所有的边都是无向的，对于无向图

   定义3（时空图）：

          时空图是特征矩阵X随时间演化的带属性图。 , 其中  ,其中T为时间步长。                   
                        

3. 图神经网络分类和框架   

在本节中，我们将介绍图神经网络的分类。我们考虑任何可微的图模型，这些模型将神经结构合并为图神经网络。

      将图神经网络分为：

1. 图卷积网络
2. 图注意网络
3. 图自动编码器
4. 图生成网络
5. 图时空网络

其中，图卷积网络在捕获结构依赖关系方面起着核心作用。如图3所示，其他类别下的方法部分使用图卷积网络作为构建块。我们在表2中总结了每个类别的代表性方法，并在下面简要介绍了每个类别。                      

图3:图神经网络分类           

                                                                                                                            

                                                                      表2 ：图神经网络的代表性文献