论文阅读《Scalable Graph Convolutional Networks With Fast Localized Spectral Filter for Directed Graphs》

---

前言

一、摘要

图卷积神经网络(Graph convolutional neural network, GCNNs)是近年来出现的处理图结构数据的方法。现有的大多数gcnn要么是基于每个节点的邻域的空间方法，要么是基于图拉普拉斯的光谱方法。与基于空间的gcnn相比，基于光谱的gcnn能够高度利用图结构信息，但始终认为图是无向的。事实上，在很多场景中，图结构是有方向性的，如社交网络、引文网络等。处理无向图可能会丢失重要信息，这对图学习任务是有帮助的。这促使我们为有向图构造一个基于光谱的GCNN。本文提出了一种基于有向图拉普拉斯算子的可扩展图卷积神经网络，该网络具有快速局部化卷积算子，称为快速有向图卷积网络(FDGCN)。FDGCN可以直接在有向图上工作，也可以扩展到大型图上，因为卷积操作与边的数量是线性的。此外，我们发现FDGCN可以统一图卷积网络(graph convolutional network, GCN)，这是一种经典的基于频谱的GCNN。从空间聚集的角度深入分析了FDGCN的作用机理。由于之前的工作已经证实考虑图的不确定性可以大大提高GCN，因此通过在混合成员随机块模型(MMSBM)生成的随机图上增加训练epoch，进一步增强了本文提出的FDGCN。通过对半监督节点分类任务的实验来评价FDGCN的性能。结果表明，在大多数情况下，我们的模型可以优于或匹配最先进的模型。

二、介绍

卷积神经网络(CNNs)等深度学习模型在解决图像分类[1]、目标检测[2]、图像修复[3]等学习问题上取得了巨大成功。然而，这些CNN模型大多是针对类网格结构化数据开发的，不能直接应用于图结构化数据。事实上，图结构数据在现实世界中很常见，如社交网络、图形3D网格、材料分子、药物等。因此，在图结构数据上构建深度神经模型，即图神经网络[4]、[5]，受到了越来越多的关注。GNN模型的思想可以追溯到早期的工作中，这些工作依赖于在图上递归地处理和传播信息[6]。不幸的是，收敛性和可伸缩性的不令人满意的特性使它们难以使用。为了解决这一难题，出现了大量在图上构建卷积神经网络的著作，即图卷积神经网络(GCNNs)。根据构造卷积算子(即滤波器)的方法，GCNN模型可以分为两个分支。一种是基于空间的GCNN模型，其关键是适当地聚合每个节点的邻域信息。在早期的研究中，使用循环单元来聚合所有相邻节点[7]-[9]的信息。随后，我们尝试在每个节点[10]，[11]的邻域大小固定的情况下应用标准CNN。最近，不同的新机制被融合到图学习中。在[12]-[14]中使用注意机制来学习每个邻居节点的权重比，而[15]中的作者使用可微池化策略。在[16]中考虑了自适应接受路径，在[17]中采用了聚类技术。另一个分支是基于频谱的GCNN模型，它使用基于图拉普拉斯的频谱滤波器来构建网络模型。第一个建议是利用图拉普拉斯[9]，[18]，[19]的前几个特征向量来定义图上的光谱滤波器。在[20]中提出的ChebyNet使用Chebyshev多项式来近似谱滤波器。因此，它首先实现了一个无谱滤波器，由于不需要进行特征分解，从而大大降低了复杂度。[21]中的Kipf和Welling则进一步将Chebyshev多项式固定为一阶。该模型被称为图卷积网络(GCN)，因其令人印象深刻的结果而广为人知。下面的工作要么尝试用不同的策略[22]-[24]改进GCN，要么用不同的数学工具[25]，[26]构建一个图卷积模型。作者在[27]-[29]中以不同的方式将GCN模型扩展到超图场景，使GCN模型更加完整。工作[30]和[31]试图将现有的图卷积网络概括成一个统一的框架。前者使用消息传递机制，后者使用伪坐标机制给出解释。
这些GCNN模型都有自己的适用场景和局限性。虽然基于空间的模型可以推广到新的图中，因为它们在每个节点上进行局部卷积，但它们不能完全整合图结构信息。此外，由于邻域信息的聚集，需要学习大量的自由参数，这主要决定了空间方法的效果。 相反，基于光谱的模型可以缓解上述基于空间模型的问题。然而，它的应用存在两个主要缺点。首先，由于需要进行特征分解，基于光谱的模型通常计算不方便。为了解决这一问题，本文采用切比雪夫多项式来近似滤波器ChebyNet[20]和GCN[21]。其次，据我们所知，以往的谱方法大多对图进行无向处理，这将丢失重要的方向信息，因为有很多场景的边是有向的。在有向图上构造卷积算子是需要的。范忠给出了有向图拉普拉斯算子的定义[32]，它为我们构造有向图卷积算子提供了一个工具。然而，在计算拉普拉斯矩阵时，需要对Perron向量进行矩阵分解。初步尝试用有向图拉普拉斯构造光谱滤波器，其模型命名为DGCN[33]。然而，在构造有向图拉普拉斯滤波器时，由于需要大量的矩阵分解，因此不能有效地处理大型图。
为了克服上述挑战，本文提出了一种可扩展的图卷积网络，命名为快速有向图卷积网络(fast directed graph convolutional network, FDGCN)，我们的工作的主要贡献总结如下:

• 我们设计了一种新的快速局部化卷积算子，它可以直接作用于有向图。首先通过有向图拉普拉斯滤波器的一阶Chebyshev多项式近似，导出了有向图卷积算子，使得FDGCN 1-hop局部化。然后通过确定有向图拉普拉斯函数定义中的Perron（谱半径）向量来进一步逼近所导出的卷积算子。这样使得卷积运算的计算复杂度与边数成线性关系，使得FDGCN可以适用于大尺寸的图。据我们所知，这是第一个基于有向图拉普拉斯函数的有向图快速局部化卷积算子。

• 我们设计了一个有向图的FDGCN模型，该模型有两层，每层包含两个不同的有向图卷积算子。发现FDGCN可以将GCN概括为它的一个特定实例。进一步，我们通过集成一种图生成方法，即混合成员随机块模型(MMSBM)[34]来推广它。

• 我们提出了一种空间聚集的观点来深入研究FDGCN。对模型的关键推导给出了解释。此外，该观点有助于更好地理解现有的一些模型。

• 通过对半监督节点分类任务的实验来评价该算法的性能。结果表明，在大多数情况下，FDGCN可以优于或匹配其