《A Comprehensive Survey on Graph Neural Networks》论文笔记

一、摘要-Abstract

1、传统的深度学习模型主要处理欧几里得数据（如图像、文本），而图神经网络的出现和发展是为了有效处理和学习非欧几里得域（即图结构数据）的信息。
2、将GNN划分为四类：recurrent GNNs（RecGNN）, convolutional GNNs,(ConvGNN), graph autoencoders(GAE), and spatial–temporal GNNs(STGNN).
3、讨论了GNN在各种领域的应用以及未来的发展方向

二、介绍-I. INTRODUCTION

第一段、介绍传统神经网络如CNN、RNN的成功发展
第二段、介绍在一些应用领域中如推荐系统，药物发现，文章引用等图数据传统神经网络不再适用
第三段、介绍受到传统神经网络启发，这几年快速发展了处理复杂的图数据
第四段、之前的一些别的论文综述工作数量有限，本文对GNN做了更全面的概述
A. Our Contributions、介绍我们的4点贡献，新的分类方法，更全面的综述，收集了大量GNN资源，提供了未来的方向
B. Organization of This Article、介绍了本文的脉络

三、GNN历史和一些定义-II. BACKGROUND AND DEFINITION

A-GNN历史
1）图神经网络的历史
早期关于GNNs的研究是将神经网络应用于有向无环图，这些早期的研究属于 RecGNNs 类别。
受 CNNs 在计算机视觉领域成功的鼓舞，许多重新定义图数据卷积概念的方法相继被开发出来。这些方法属于 ConvGNNs 的范畴。ConvGNNs 分为两大类：基于谱的方法和基于空间的方法。
过去几年还开发了许多其他类型的 GNNs，包括 GAEs 和 STGNNs。
2）GNN和网络嵌入Network Embedding区别
方法和模型：网络嵌入：传统上包括矩阵分解、随机游走等非深度学习方法，也可以包含一些简单的模型。它的主要目标是生成低维的节点表示。GNNs：使用深度学习技术，通过图卷积、注意力机制等操作处理图数据，能够通过端到端的方式进行训练和优化。
任务和应用：网络嵌入：通常用于生成节点的低维表示，以便于后续的机器学习任务，如分类、聚类等。GNNs：不仅生成节点的表示，还能够直接进行复杂的图任务，例如图分类、节点分类、链接预测等。
（PS：来自ChatGPT）
3)GNN和图核方法Graph Kernel Methods区别
图核方法通过计算图之间的相似性并使用传统的机器学习算法进行分类，计算复杂度较高，对大规模图数据处理能力有限。
GNNs利用深度学习模型直接学习图数据的表示，通过端到端训练进行图任务处理，计算效率更高，适应性更强，但需要大量的数据和计算资源
（PS：来自ChatGPT）
B-定义
大写字母表示矩阵，使用粗体小写字母表示向量

四、分类和框架-III. CATEGORIZATION AND FRAMEWORKS

A-GNN的分类
1)RecGNN
这些主要是 GNN 的开创性工作。RecGNN 的目标是通过递归神经结构学习节点表示。它们假设图中的一个节点不断与其邻居交换信息/消息，直到达到稳定的平衡状态。RecGNN 在概念上具有重要意义，并且启发了后来的 ConvGNN 研究。特别是，消息传递的理念被空间基础的 ConvGNN 所继承。
2)ConvGNN
将卷积操作从网格数据推广到图数据。其主要思想是通过聚合节点自身的特征 $x_v$和邻居节点的特征 $x_u$.与 RecGNN 不同，ConvGNN 通过堆叠多个图卷积层来提取高级的节点表示。ConvGNN 在构建许多其他复杂 GNN 模型中扮演了核心角色
3）GAE
这是无监督学习框架，通过将节点/图编码到潜在向量空间中，并从编码信息中重建图数据。GAE 用于学习网络嵌入和图生成分布。在网络嵌入方面，GAE 通过重建图结构信息（如图的邻接矩阵）来学习潜在的节点表示。在图生成方面，一些方法逐步生成图的节点和边，而其他方法则一次性输出整个图。
4)STGNN
旨在从时空图中学习隐藏的模式，这在各种应用中变得越来越重要，例如交通速度预测、驾驶行为预测和人类动作识别。STGNN 的关键思想是同时考虑空间依赖和时间依赖。许多当前的方法结合了图卷积来捕捉空间依赖，以及 RNN 或 CNN 来建模时间依赖。
B-不同的图分析任务
1)节点级别
输出与节点回归和节点分类任务相关。RecGNNs（递归图神经网络）和ConvGNNs（卷积图神经网络）可以通过信息传播/图卷积来提取高级节点表示。通过多层感知器或softmax层作为输出层，图神经网络（GNNs）能够以端到端的方式执行节点级别的任务。
2)边级别
输出与边分类和链接预测任务相关。对于边级别的任务，GNNs 提供的两个节点的隐藏表示可以作为输入，通过相似度函数或神经网络来预测边的标签或连接强度。这种机制可以用于确定两个节点之间是否存在某种关系（边分类），或者预测边的强度或概率（链接预测）。
3)图级别
输出与图分类任务相关。为了在图级别获得紧凑的表示，GNNs 通常与池化和读出操作结合使用。池化操作用于将图中的信息汇聚成固定大小的表示，而读出操作则从节点表示中生成图的整体表示。这些操作帮助GNNs 捕捉图的全局特征，从而进行图分类。
B-训练框架
（半）监督学习：在这种设置下，模型在训练过程中会使用标记过的数据（例如，节点的类别标签）来指导学习过程。这种方法利用已标记的数据来帮助网络学习特征，从而对未标记的数据进行有效的预测。常见的应用包括节点分类和图分类，其中一部分数据是有标签的，另一部分则可能是无标签的。
无监督学习：在这种设置下，模型不依赖于任何标签数据进行训练，而是通过某些自我监督机制或对比学习等方法来学习数据的潜在结构和特征。例如，通过对比学习来最大化相似样本之间的相似性，同时最小化不相似样本之间的相似性，从而提高模型的表示能力。这种方法适用于没有标记数据的情况，如图嵌入任务。
B-总结了代表性 RecGNNs和 ConvGNNs

上图展示了不同的图神经网络（GNN）模型，这些模型都建立在图卷积层之上。以下是各个子图的详细说明：
(a) 带有多个图卷积层的 ConvGNN
这个模型包含多个图卷积层。每个图卷积层通过聚合邻居节点的特征信息来更新每个节点的隐藏表示。在特征聚合之后，应用非线性变换来处理结果。通过堆叠多个层，最终每个节点的隐藏表示能够从更远的邻域接收信息。这种堆叠的方式使得模型能够捕捉到更复杂的图结构和节点关系。

(b) 带有池化和读出层的 ConvGNN 用于图分类
在这个模型中，图卷积层后面跟着一个池化层。池化层的作用是将图粗化成子图，从而在粗化的图上生成更高层次的图级别表示。读出层通过对子图的隐藏表示进行求和或平均来总结最终的图表示。这种设计用于图分类任务，使得模型能够从图的整体结构中提取信息。

(c） GAE（图自编码器）用于网络嵌入
编码器使用图卷积层为每个节点生成网络嵌入。解码器计算节点对之间的距离，然后应用非线性激活函数来重构图的邻接矩阵。网络通过最小化真实邻接矩阵与重构邻接矩阵之间的差异来进行训练。这种方法主要用于网络嵌入任务，通过重建图结构来学习节点的表示。

(d) STGNN（时空图神经网络）用于时空图预测
这个模型在图卷积层之后使用了一个 1-D 卷积层。图卷积层处理图的邻接矩阵 $A$和节点特征 $X(t)$，以捕捉空间依赖关系，而 1-D 卷积层则沿时间轴滑动，以捕捉时间依赖关系。输出层是一个线性变换，用于生成对每个节点的预测，例如预测下一时间步的值。这种模型适用于需要考虑时间动态的图数据预测任务。

这些不同的 GNN 变体展示了如何通过不同的层和结构设计来处理图数据中的不同任务，包括节点表示、图分类、网络嵌入和时空预测等。

五、RecGNN

六、ConvGNN

七、GAE

八、STGNN

九、应用

A-数据集

• 引文网络：这类数据集通常用于学术论文的引用关系分析。例如，ACM 和 Citeseer 数据集。
• 生物化学图：涉及生物分子结构的图数据，如蛋白质-蛋白质相互作用（PPI）网络和化学分子图。
• 社交网络：包括社交媒体平台上的用户交互和关系网络，如 Facebook 和 Twitter 数据集。
• 其他：包括各种其他类型的图数据集，如交通网络、知识图谱等。

B-评估方法和一些开源实现

C-实际应用

• 计算机视觉
• 自然语言处理
• 交通
• 推荐系统
• 化学
• 其他

十、未来方向

A. 模型深度
深度学习的成功在于深度神经网络架构。然而，研究表明，ConvGNN 的性能会随着图卷积层数量的增加而显著下降。这是因为图卷积操作将相邻节点的表示推向彼此，理论上，当图卷积层数无限增加时，所有节点的表示会收敛到一个单一的点。这就引发了一个问题：对于学习图数据来说，增加模型深度是否仍然是一个有效的策略？

B. 可扩展性权衡
GNN 的可扩展性通常以牺牲图的完整性为代价。无论是使用采样还是聚类方法，模型都可能丧失部分图信息。例如，通过采样，节点可能会错过其重要的邻居；通过聚类，图的独特结构模式可能会被剥夺。因此，如何在算法的可扩展性和图的完整性之间取得平衡是未来的一个研究方向。

C. 异质性
目前大多数 GNN 假设图是同质的，而直接将现有 GNN 应用于异质图（可能包含不同类型的节点和边，或不同形式的节点和边输入，如图像和文本）是困难的。因此，需要开发新的方法来处理异质图，以便更好地应对这类复杂结构的图数据。
D. 动态性
图的本质是动态的，即节点或边可能会出现或消失，节点/边的输入也可能随时间发生变化。因此，需要开发新的图卷积方法来适应图的动态性。尽管时空图神经网络（STGNNs）在一定程度上解决了图的动态性问题，但目前很少有研究考虑如何在动态空间关系的情况下执行图卷积操作。

十一、结论