图神经网络：分类、进展和趋势

【导语】图神经网络提供强大的工具包，将真实世界的图嵌入到低维空间中。本期文章旨在综述图神经网络，包括提供新的分类法和参考250篇相关文献，将它们归类到相应的类别中。此外，总结了四个未来的研究方向以克服面临的挑战，推动图神经网络进入新阶段。

关键词： 图卷积神经网络、图递归神经网络、图池算子、图注意机制、图神经网络

文章题目：

Graph Neural Networks: Taxonomy, Advances and Trends

文章地址：

https://paperswithcode.com/method/gpt

https://openai.com/blog/language-unsupervised/

作者介绍

YU ZHOU，HAIXIA ZHENG，XIN HUANG，SHUFENG HAO，DENGAO LI，JUMIN ZHAO，目前在山西省空间信息网络工程技术研究中心的工作，国际计算机学会（ACM）太原分会员。感兴趣的研究方向是大数据技术及应用、人工智能、脑信息学、脑网络组学分析、医疗大数据。他们的h指数分别为12，8，26，25，14，36.

期刊介绍

ACM T INTEL SYST TEC

ACM Transactions on Intelligent Systems and Technology是一本以多学科视角发表关于智能系统、适用算法和技术的高质量论文的学术期刊。智能系统是利用人工智能( AI )技术提供重要服务，使集成系统在现实世界中感知、推理、学习和智能行动的系统。计算机科学3区Top，其h5-index：46，SCI Q2，JCI为1.18，SCIIF为4.245。

图作为一种复杂的数据结构，由节点和边组成。它可以模拟现实世界中的诸多复杂系统，如社交网络和知识图谱等。因此，分析复杂网络已成为一个极具挑战性的研究前沿。随着深度学习技术的快速发展，许多学者开始采用深度学习架构来处理图。在这种情况下，图神经网络（GNN）应运而生。至今，GNN已经成为一种流行而强大的计算框架，可处理图和流形等不规则数据。

【文章结构】

( 1 )提出了一种新的GNN分类方法。首先包括架构、基准和评估陷阱以及应用。架构分为9类，基准和评估陷阱分为2类，应用分为10类。此外，作为经典的GNN架构，图卷积神经网络分为六类。

( 2 )对GNN进行了全面的综述，所有的文献都属于相应的范畴。希望读者通过阅读本次调查，不仅可以了解GNN的全貌，还可以了解GNN的基本原理和各种计算模块。

( 3 )基于当前面临的挑战，总结了GNN未来的4个研究方向，其中大部分研究未提及其他调查。通过克服这些挑战，有望使GNN的研究进入一个新的阶段。。

1.结构

图卷积神经网络 (GCNN)

在现实世界中，无标签的文本语料非常庞大，而有标签的数据非常稀缺。如何有效利用未标注的原始文本对于缓解自然语言处理相关任务对监督学习方法的依赖至关重要。

GCNN在处理图、流形等不规则数据方面发挥着关键作用。它们受到卷积神经网络( CNN )的启发，学习不规则数据的分层表示。有一些努力将CNN扩展到图。然而，它通常计算昂贵且不能捕获光谱或空间特征。本文从以下6个方面对GCNN进行介绍：谱GCNN、空间GCNN、图小波神经网络和特殊图上的GCNN。

图1 光谱 GCNN 的计算框架

图2 空间 GCNN 的计算框架

图池化算子

图池化算子是GCNN非常重要和有用的模块，尤其是对于图级别的任务(例如图分类)。图池算子有两种，分别是全局图池算子和层次图池算子。前者的目的是获得输入图的一般表示，后者的目的是获得节点表示的充分结构信息。

图注意力机制

首先将注意力机制引入深度学习社区，引导深度学习模型关注其输入的任务相关部分，从而做出准确的预测或推断。最近，注意力机制在GCNN中的应用引起了广泛的关注，因此各种注意力技术被提出。本文从四个角度总结了图上的图注意力机制，分别是基于softmax的图注意力、基于相似性的图注意力、谱注意力和注意力引导游走。

图3 两种图注意力机制

图递归神经网络

图循环神经网络 (GRNN) 将循环神经网络 (RNN) 推广到处理图结构数据，文章中介绍一些可用的 GRNN 架构。

图4 注意力引导游走的计算框架

图5 Graph LSTM 的计算框架

2. 扩展和应用

上述架构实质上提供了构建GNN的要素。本文从谱图GCNN、能力与可解释性、深度图表示学习、深度图生成模型、PI与GNN的结合、GNN的对抗攻击、图神经架构搜索和图强化学习八个方面对GNN的扩展进行了研究。最后对GNN的应用进行了简要总结。

特殊图上的 GCNN

普通GCNN旨在学习输入图(有向或无向、加权或无权)的表示。真实世界的图可能具有更多的额外特征，如时空图、异构图、超图、符号图等。签名图GCNN利用平衡理论，通过正负链接聚合和传播信息。

模型能力和可解释性

GCNN 在图上的监督、半监督和无监督学习方面取得了巨大的经验成功。最近，许多研究开始关注 GCNN 的能力和可解释性。

深度图表示学习

图表示学习（或称为网络嵌入）是图上无监督学习的一种范式。自以来，它获得了大量的普及。随后，许多研究利用深度学习技术来学习节点的低维表示。

深度图生成模型

上述工作重点是将输入图嵌入到低维向量空间中，在图上执行半监督/监督/无监督学习任务。本节介绍了一种旨在模仿现实世界中复杂地图的深度图生成模型。由于图的高度非线性和任意连通性，从潜在表示生成复杂图面临着巨大的挑战。注意图平移[ 214 ]与图生成类似。但两者的区别在于前者以输入图和目标图作为输入，而后者仅以单个图作为输入。NetGAN使用生成对抗网络来模拟输入的真实世界图。更具体地说，它由两个组件组成，即生成器G和判别器D。判别器D被建模为LSTM，以区分由二阶随机游走方案node2vec生成的真实节点序列和伪造的节点序列。生成器G旨在通过另一个LSTM生成伪造的节点序列。

图神经架构搜索

神经架构搜索( NAS )在发现图像和语言学习任务的最佳神经网络架构方面取得了巨大的成功。然而，现有的NAS算法无法直接扩展到寻找最优的GNN架构。幸运的是，已经有一些研究能够弥合这一鸿沟。图神经结构搜索的目的是在设计的搜索空间中搜索最佳的GNN结构。它通常使用基于强化学习的控制器( RNN )对生成的架构进行贪婪验证，然后将验证结果反馈给控制器。图超网络( GHN )用于分配训练数千个不同网络的搜索成本。通过GCNN产生的权值对网络进行训练，以最小化采样网络的训练损失。

应用

在本节中，我们对GNN的应用进行了介绍，限于篇幅，仅列举了应用领域，包括复杂网络分析、组合优化、知识图谱、生物信息学、化学、脑网络分析、物理系统、源代码分析、智能交通、推荐系统、计算机视觉和自然语言处理等。

3. 基准和评估缺陷

基准

图神经网络已经成为挖掘复杂图的强大工具包。评估新的GNN架构的有效性以及在具有一致实验设置和大数据集的标准化基准下比较不同的GNN模型变得越来越重要。GNN的可行基准应该包括适当的图形数据集、强大的编码接口和实验设置，以便不同的GNN架构可以在相同的设置中进行比较。一些文献率先构建了一个可复制的GNN基准框架，以方便研究人员衡量不同GNN架构的有效性。具体来说，发布了基于PyTorch和DGL库托管在GitHub上的开源GNN基准基础架构，引入了一个具有9 - 500个节点的12k - 70k图的中等规模图数据集，并确定了重要的构建块GNN (图卷积、各向异性扩散、残差连接和归一化层)和推荐的基准基础架构。Open Graph Benchmark ( OGB )，包括具有挑战性的、现实世界的、大规模的基准图数据集，其中包括几个重要的图深度学习任务

评估缺陷

之前的文献比较了4种典型的GCNN架构：GCN、MoNet、GAT和Graph SAGE，使用3种聚合策略和4种基线模型：逻辑回归、多层感知机、标签传播和标准化拉普拉斯标签传播，并对所有这些模型使用标准化训练和超参数调整程序以进行更公平的比较。实验结果表明，对数据集进行不同的训练/验证/测试拆分，会导致模型排名出现明显差异。此外，他们的研究结果还表明，只有在对所有模型的超参数和训练程序进行公平调整的情况下，更简单的GCNN架构才能优于更复杂的架构。

4. 未来的研究方向

尽管 GNN 在许多领域取得了巨大的成功，但仍然存在一些未解决的问题，本节总结了 GNN 的未来研究方向。

高度可扩展的 GNN

现实世界的图通常包含数以亿计的节点和边，具有动态演化的特性。事实证明，现有的GNN架构很难扩展到一个巨大的真实世界图。这促使我们设计一个高可扩展的GNN架构，可以有效地学习巨大的动态演化图的节点/边/图表示。

GNN的鲁棒性

现有的GNN架构容易受到对抗攻击。即一旦输入图的结构和/或初始特征受到攻击者的攻击，GNN模型的性能会急剧下降。因此，应在GNN架构中加入攻击和防御机制，即构建健壮的GNN架构，以增强其抵御对抗攻击的能力。

GNN的可解释性

现有的GNN工作在黑箱中。我们不明白为什么它们在节点分类任务、图分类任务和图嵌入任务中取得了最先进的性能。可解释性成为GNN应用于实际问题的主要障碍。一些研究虽然解释了一些特定的GNN模型，但无法解释一般的GNN模型。这促使我们为GNN构建一个统一的可解释框架。

5. 结论

本文旨在为GNN提供分类、进展和趋势。本文的内容从架构、扩展与应用、基准与评价陷阱、未来研究方向四个维度展开。从图卷积神经网络、图池化算子、图注意力机制和图循环神经网络4个角度对GNN架构进行扩展。从8个角度进行扩展：特殊图上的GCNNS、能力和可解释性、深度图表示学习、深度图生成模型、PI和GNN对GNN的组合对抗连接、图神经架构搜索和图强化。在未来的方向上，我们提出了四个关于GNN的前瞻性课题：高度可扩展的GNN、鲁棒的GNN、超越WL测试的GNN和可解释的GNN。希望相关学者通过阅读这篇综述，了解GNN的计算原理，夯实GNN的基础，并将其应用到越来越多的实际问题中。