[万字综述] 重新思考空域与谱域GNN之间的联系

fig1

• 论文标题：Bridging the Gap between Spatial and Spectral Domains: A Survey on Graph Neural Networks

• 论文地址：https://arxiv.org/pdf/2002.11867.pdf

• 小编：图子，知乎主页如下：

  

• 高清大图在最后~
  

目前的分类体系下，GNN 被划分成空域和谱域两大类，空域模型不需要矩阵特征分解，能直接在空域视角进行矩阵计算；谱域模型则从信号处理的角度实现 GNN。那么空域和谱域GNN之间是否冥冥之中存在某种联络呢？这篇综述论文打通了空域和谱域方法之间相互隔绝的状态，对于一些工程上具有优越性的空域模型，作者带领我们从谱域视角进行理解。在全新的分类体系下总结 GNN 的操作范式，为我们理解 GNN 的底层工作机制提供了更加统一的视角。

0. Abstract

现有的各种机制下的 GNN，如随机游走、PageRank、图卷积、heat diffusion 等，都是针对不同类型的图数据和问题而设计的，很难直接对比它们。以往的 GNN 综述主要将当前的模型划分成独立的组，但缺乏对其内部联系的分析。这篇论文提出了一个统一框架，能够将现有的 GNN 模型融入本文提出的框架中。作者对现有的 GNN 模型进行了总结和分类，将其分为Spatial-based和Spectral-based，并揭示了每个域中各个子类别之间的联系，进一步分析建立了Spatial-based和Spectral-based之间的紧密联系。

1. Introduction

尽管近年来 GNN 在图表示学习中占据主导地位，但人们对其表示能力和物理意义的理解仍然有限。对 GNNs 的理解不足极大地阻碍了对最先进方法的比较和改进。这种差距也使得将 GNNs 扩展到商业智能或药物开发等领域具有挑战性，因为黑箱模型可能造成不可控的风险。因此需要对 GNNs 进行解密，这就促使研究人员探索 GNNs 的通用框架[53; 16; 55]。然而，现有的工作只能解释少数的 GNNs，对大多数GNNs 的解释仍然是缺失的。

问题

目前的分类法不能提供对不同 GNN 模型之间联系的理解。阐明 GNN 的底层机理，了解所有类型的 GNN 之间的联系，仍然是 GNN 领域研究的前沿。以往对 GNN 的综述研究[37; 20; 56; 58; 50]主要集中在将现有的模型分为独立的组，并分别阐述每组模型，但并未分析它们之间的联系。

解决方案

这篇论文的目的是提供一个统一的框架来概括 GNNs，将现有的Spatial-based和Spectral-based的工作联系起来。1）简要介绍了所提出的框架，包括Spatial-based和Spectral-based两大类，并指出它们之间的内在联系。2）分别针对Spatial-based和Spectral-based方法内部再次划分更加详细的子类别，并使用目前流行的 GNN 模型作为实例来解释每个子类别。本文的详细贡献总结如下：

• 提出了一种空域 GNN 模型的分类体系。在空域中，通过在图数据内部的连接性上进行空间运算，GNN 被视为具有不同配置的图矩阵的统一函数。

• 提出了一种谱域 GNN 模型的分类体系。在谱域中，通过谱域中的频率响应函数区分 GNN 模型。

• 将空域和谱域模型合并成一个统一的框架。通过对比和分析，将谱域的频响函数与空域的节点聚合函数联系起来。

2. 分类体系

fig2

图(1) 是这篇论文论提出的全新分类体系，左边是空域模型，右边是谱域模型。每个框架内部是 GNN 在该域中内的三类模型。这篇论文的创新之处在于：1）分别在空域和谱域内部建立了每种方法之间的强相关性；2）提出了隶属于两个域的 GNN 模型之间的几种等价关系。

频域和谱域之间的三种等价关系

1. (A1) Local Aggregation = (B1) Frequency Aggregation:

   基于图和矩阵理论，空域中局部聚合过程就是在调整邻居节点上的权重，这个过程相当于频率聚合过程中调整频率分量上的权重。

2. (A2) Connectivity Order = (B2) Approximation Order:

   在空间中聚合不同阶数的邻居等价于频域中不同阶数频率分量的加和，即近似阶的分析形式。

3. (A3) Propagation Type = (B3) Approximation Type:

   空域中的传播类型是指标签传播中是否存在逆向传播，而近似类型是调整滤波函数中是否有简单的分母，因此在进行简单转化后，空域和谱域可以共享同一公式。

3. Spatial-based GNNs

现有的Spatial-based方法聚焦于研究几个方面：如自环、归一化、高阶邻居、聚合和节点间的组合等。基于这些操作，论文提出了一种新的图神经网络的分类法，将空域GNN分为三组。

前置知识

1.为什么要对邻接矩阵进行归一化操作呢？

在局部聚合过程中，度大的节点特征越来越大，而对于度小的节点却相反，这可能导致网络训练过程中梯度爆炸或者消失的问题。

2.归一化的方式有哪些？

对称归一化

随机游走归一化

3.1 Local Aggregation (A1)

这一小结首先介绍局部聚合过程的一般形式，然后具体到几种常见的 GNNs，给出了它们各自不同的聚合方式。

目前有一些研究[41;53;52;16;19;46]致力于学习节点一阶邻居的聚合方案，调整节点及其邻居的权重，从而揭示信号的 pattern，节点嵌入的更新过程可以写成如下形式：

其中， 表示目标节点 的邻居节点， 是节点的表示向量， 是权重函数。

采用随机游走归一化方式(利用当前节点的度划分邻居)，Eq. (5) 可以被重写成：

也可以进行对称归一化：

其中， 表示节点   的度数，归一化使得模型具有更好的泛化能力，但也可以采用一个最为简化的设置，即所有邻居的权重 相同，根据对邻接矩阵归一化的方式不同，以上节点更新过程以矩阵的形式表达如下：

其中， 和 是权重，式子(8)和(9)能够被统一概括成以下形式：

其中， 是邻接矩阵 的归一化形式，可以通过随机游走和对称归一化实现。

公式(10)就是 GNN 节点局部消息聚合的通用范式，因此不同的GNN 可以通过设计不同的归一化形式 、不同的权重因子 和 ，达到不同的消息聚合效果，实现专门化的 GNN 结构设计，下面将介绍几种常见的 GNN 是如何通过专门化公式(10)，达到不同的效果。

1. Graph Convolutional Network

GCN 是对ChebNet[13]的简化，为节点增加了自环，采用了重归一化技巧，改变了度矩阵： ，因此以矩阵的形式表示GCN的过程

如下：

其中， ，即具有自环的归一化邻接矩阵。当使用**对称归一化+设置式子(10)中： ， 时，式子(11)等价于聚合的范式公式(10)，GCN的结果就是当前节点表示加上其邻居节点表示的平均。

2. GraphSAGE

GraphSAGE [19] 使用平均聚合器将当前节点和其邻居进行平均：

其中， 是表示， 代表邻居节点，Eq(12) 可以用矩阵的形式表达：