GNN的分类、进展和趋势

GNN的分类、进展和趋势

Abstract：GNN可以根据特定的任务提供一个工具包，将真实世界的图形嵌入低维空间。到目前为止，已经有很多关于GNN的research了。但是，它们往往侧重于不同的角度，让读者看不到图神经网络的全景。我们这篇文章旨在克服这一限制，并提供一个全面的回顾图神经网络。

1. 首先，给GNN提出了一种全新的分类方法，而且查阅了400多篇文献来展示图神经网络的全貌。这些所有的文献都被归纳进入相应的类别。
2. 为了推动GNN进入一个新的阶段，总结了四个未来的研究方向，来克服现在所面临的挑战。希望越来越多的学者能够理解和开发GNN，并将其应用到自己的研究领域。

关键词：图卷积神经网络；图递归神经网络；图表示学习；图生成模型；图神经网络

1. Introduction

图其实是一种复杂的数据结构，由节点(或顶点)和边(或链接)组成。 它可以用于模拟现实世界中的许多复杂系统，如社会网络、蛋白质-蛋白质相互作用网络、大脑网络、道路网络、物理相互作用网络和知识图等。因此，分析复杂网络成为一个有趣的研究前沿。随着深度学习技术的快速发展，许多学者采用深度学习架构来处理图形。图神经网络(GNN)就是在这种情况下出现的。到目前为止，GNN已经发展成为一个普遍和强大的计算框架，用于处理不规则数据，如图形和流形。
GNNs可以通过层次迭代算子，学习特定任务的节点/边/图表示，利用传统的机器学习方法完成与图相关的学习任务（如节点分类、图分类、链路预测、聚类等）。虽然GNNs在图形相关的学习任务上取得了很大的成功，但它们仍然面临着巨大的挑战。

1. 首先，图的结构复杂性给大型图带来了昂贵的计算代价。
2. 其次，干扰图结构和/或初始特征会导致性能急剧下降。
3. 第三，Wesfeiler-Leman (WL)图同构检验阻碍了GNNs性能的提高。
4. 最后，GNNs的黑盒工作机制阻碍了将其安全地部署到实际应用中。

本文将传统的深度架构推广到非欧几里得领域，总结了图神经网络的架构、扩展和应用、基准和评价缺陷以及未来的研究方向。

到目前为止，已经有几篇关于GNNs的research了。
然而，他们通常从不同的角度、不同的重点来讨论GNN模型。
[1]第一次关于GNNs的research是由Michael M. Bronstein等人进行的。
[2]Peng Cui等人从三个方面综述了应用于图的各种深度学习模型:半监督学习方法，包括图卷积神经网络;
   无监督学习方法，包括图自动编码器;最近的进展是包括图递归神经网络和图强化学习。
   主要侧重于半监督学习模型，即空间图和谱图卷积神经网络，而对其他两个方面的关注相对较少。
   由于篇幅的限制，只列出了gnn的几个关键应用，而忽略了应用的多样性。
[3]孙毛松等人从图类型、传播步骤和训练方法三个方面对光谱和空间图卷积神经网络进行了详细的回顾；
	并将其应用分为三种场景:结构化场景、非结构化场景和其他场景。然而，并未涉及其他GNN体系结构，如        图自动编码器、图递归神经网络和图生成网络。
[4]Philip S. Yu等人对图神经网络进行了全面的调查，研究了可用的数据集、开源实现和实际应用。然而，对于每个研究课题，他们只列出了少数核心文献。
[367]Davide Bacciu等人对图数据的深度学习领域进行了温和的介绍。文章的目标是介绍为图数据构造神经网络的主要概念和构建模块，因此它不属于最近关于图神经网络工作的阐述。

值得注意的是，所有上述research都不涉及GNN的能力和可解释性，概率推理和GNN的组合，以及对图的对抗攻击。
本文从架构、扩展与应用、基准与评估缺陷、未来研究方向四个方面为读者提供GNNs的全景图，如图1所示。

在GNNs的架构方面，我们研究了图卷积神经网络(GCNNs)、图池运算符、图注意机制和图递归神经网络(grnn)。
通过集成上述架构，扩展和应用程序展示了一些关于GNN的值得注意的研究主题。具体来说，该视角包括能力和可解释性、深度图表示学习、深度图生成模型、概率推理(PI)和GNNs的组合、GNNs的对抗攻击、图神经结构搜索、图强化学习和应用。
综上所述，本文对gnn进行了完整的分类，并对目前gnn的研究进展和发展趋势进行了综述。这些是我们与上述调查的主要区别。

Contributions.

1. 我们提出了一种新的GNN分类方法，它有三个层次。第一种包括架构、基准测试和评估缺陷，以及应用程序。架构分为9类，基准测试和评估缺陷分为2类，应用程序分为10类。此外，图卷积神经网络作为经典的GNN体系结构，再次被分为6类。
2. 我们对gnn进行了全面的回顾。所有的文献都有包含的相应的范畴。希望读者通过阅读本文，不仅能了解GNNs的全貌，还能了解GNNs的基本原理和各种计算模块。
3. 根据目前所面临的挑战，我们总结了GNN未来的四个研究方向，其中大部分是其他研究未提及的。希望通过克服这些挑战，GNN的研究能够进入一个新的阶段。

本文的其余部分组织如下。

1. 首先，我们提供一些基本的符号和定义，这些符号和定义将在后面的小节中经常用到。
2. 然后，我们从4个方面开始回顾gnn:第3节的架构，第4节的扩展和应用，第5节的基准和评估缺陷，以及第6节的未来研究方向。
3. 最后，我们对论文进行总结。

2. Preliminaries

在本节中，我们介绍了相关的符号，以便方便地描述图神经网络模型。

一个简单的图可以用G=（V，E）来表示。
V：N个节点或者顶点的集合。V = {v1,· · · , vN}
E：M条边的集合。E = {e1,· · · , eM}

意思是每条包含在边的集合里的边都可以表示成另外一个由点集合表示的集合。
设Ag为G的邻接矩阵，其中AG(s, r) = 1，前提是vs与vr之间有一条边。

如果G是边加权的，Ag(s, r)等于边的权值(vs, vr)。
如果G是有向的，而，因此Ag是不对称的。
一个有向边也叫拱,
的时候，Ag是对称的。
对于节点vs∈V，设NG(vs)表示vs的邻域集合，dG(vs)表示vs的度数。
如果G是有向的，则分别表示vs的传入和传出邻居，分别表示vs的入度和出度。
给定一个向量a = (a1，···，aN)∈RN，diag(a)(或diag(a1，···，aN))表示由元素aN组成的对角矩阵，n = 1，···，n。
向量x∈RN称为G上的一维图信号。
同理，X∈RN×d 被称为G上的d维图信号。
实际上，X也被称为G上节点的特征矩阵。
在不失一般性的情况下，
设X[j,k]表示矩阵X∈RN×d,
X[j，:]∈Rd表示节点vj的特征向量
X[:， j]表示g上的一维图信号。
设IN为N×N单位矩阵。对于无向图，LG= DG−AG称为G的拉普拉斯矩阵，其中DG[r, r] =PN c=1 AG[r, c]。
对于一个一维图信号x，其平滑度s(x)定义为
LG的归一化被定义成
是一个实对称半正定矩阵，它有N阶实非负特征值{λN: N = 1，···，N}，其对应的标准正交特征向量{un: n = 1，···，n}，

是一个标准正交矩阵。
特征向量un, n = 1，···，n也称为G的图形傅里叶基。
显然，图形傅里叶基也是g上的一维图形信号。对于给定的图形信号x的图形傅里叶变换可以表示为
傅里叶变换的反变换可以相应地表示为

注意，特征值λn实际上度量了傅里叶模式un的平滑度。
本文采用ρ(·)表示激活函数。
表示至少两个向量的拼接。我们在某些地方也使用Concat(·)函数来表示两个向量的连接。

3.架构

在本节中，我们对GNN体系结构进行详细调查，以便为用户提供构建复杂GNN模型的可用成分。

3.1图卷积神经网络(GCNNs)

GCNNs在处理不规则数据(如图形和流形)中起着关键作用。GCNNs是由卷积神经网络(CNNs)驱动来学习不规则数据的层次表示，已经有一些努力将CNN推广到图表。然而，它们通常计算量大，并且不能捕捉光谱或空间特征。下面，我们从以下6个方面介绍广义神经网络:spectral GCNNs, spatial GCNNs, Graph wavelet neural
networks and GCNNs on special graphs.

3.1.1频谱图卷积算子
频谱图卷积算子是通过图傅里叶变换来定义的。
对于G上的两个图信号x和y，它们的频谱图卷积x∗Gy定义为

其中表示元素的Hadamard乘积
频谱图卷积可以重写为
其中fθ是由可学习参数组成的对角矩阵。也就是说，信号x由频谱图滤波器(或图卷积核)fθ滤波。
对于G上的d(l)维图形信号X(l)，由图形卷积层产生的输出X(l+1)，即G上的d(l+1)维图形信号，可以写成
是一个频谱图滤波器，举个例子，比如说一个N*N的对角矩阵包括第L层的第j个图形信号和第L+1层的第K个图形信号。上述等式中spectral GCNN的计算框架如图2所示。

值得注意的是，上述图卷积层的计算需要O(N3)时间和O(N2)空间来进行LG的特征分解，特别是对于真正的大型图。
更一般的是，可以用一般的图滤波器来重新表示图卷积层，即
文献[127]通过将不同的经典网络结构转化为gcnn，对工作何时起作用进行了全面的分析，并为选择合适的图网络框架提供了指导。GraphMix[179]是一种正则化技术，其灵感来自基于插值的数据增强技术[387,388]，并针对图结构数据进行调整。它通过一个参数共享策略，用一个完全连接的网络(FCN)来增强普通的GCNN。FCN损失的计算使用流形混合，定义如下：