《Simplifying Graph Convolutional Networks》阅读笔记

文章概述

作者指出现如今GCN和其变体模型好多遵从如下范式：
$$H^{l+1}=\sigma (S{H}^k{W}^{k+1})\text{\hspace{1em}(1)}$$
其中$\sigma$表示非线性变换，例如RELU，矩阵$S$表示包含图结构信息的各种矩阵变体，例如$D^{-1/2}A{D}^{-1/2}$，而$W^{k+1}$表示第$k+1$层的可学习的权重矩阵。但这种范式的GCN模型复杂度通常比较高且计算成本也高，在大图上通常束手无策。为此，作者针对现有的GCN及其变体进行了简化，其具体措施是：

• 去除层与层间的非线性变换；
• 扁平（collapsing）连续层间的权重矩阵。

作者将他们提出的模型命名为SGC（Simple Graph Convolution），实验表明尽管进行了简化，但是SGC在许多任务上都的性能都与现有的GCN模型相当甚至更好，此外SGC的运算速度有的极大的提升。

SGC框架

符号表

在具体介绍之前，先摆出论文中使用到的符号

符号	说明
$\mathcal{G}=(\mathcal{V},A)$	图
$A$	对称的邻接矩阵
$d_i$	结点$i$的度
$D$	度矩阵，$D=\text{diag}(d_1,...,d_n)$
$X\in {\mathbb{R}}^{n\times d}$	结点的特征矩阵，其中$n$表示图中的结点数，$d$表示特征的维数
y i ∈ { 0 , 1 } C y_i \in \{0,1\}^{C} yi​∈{0,1}C	结点$i$的标签，one-hot码，$C$为类别数
$H^{(k)}$	GCNs第$k$层的结点表示，其中$H^{(0)}=X$

GCNs模型简介

GCNs模型的模式通常为==$K$个图卷积层+$1$个分类层==（也可能不是分类，取决于下游任务是什么）。对于GCNs的每个卷积层，结点表示的更新分为三个阶段：

• 特征传播
• 线性变换
• 非线性激活

特征传播阶段，每个结点都会聚合其邻居的消息并结合自身的结点特征表示来生成自身新的结点表示，即：
$${\overline{\mathbf{h}}}_i^{(k)}\leftarrow \frac{1}{d_i+1}{\mathbf{h}}_i^{(k-1)}+\sum _{j=1}^n\frac{a_{ij}}{\sqrt{\left(d_i+1\right)\left(d_j+1\right)}}{\mathbf{h}}_j^{(k-1)}\text{\hspace{1em}(2)}$$
上述公式写成矩阵形式可表示为：
$$\begin{gathered} \mathrm{S}={\tilde{\mathrm{D}}}^{-\frac{1}{2}}\tilde{\mathrm{A}}{\tilde{\mathrm{D}}}^{-\frac{1}{2}} \\ {\overline{\mathbf{H}}}^{(k)}\leftarrow {\mathrm{S}\mathrm{H}}^{(k-1)}\text{\hspace{1em}(3)} \end{gathered}$$
其中$\tilde{\mathbf{A}}=\mathbf{A}+\mathbf{I}$，$\tilde{\mathbf{D}}$为矩阵$\tilde{\mathbf{A}}$的度矩阵。

然后，便是线性变换（乘以权重矩阵$W$）和非线性激活阶段（应用非线性激活函数如RELU），
$${\mathbf{H}}^{(k)}\leftarrow \mathrm{ReLU}\left({\overline{\mathbf{H}}}^{(k)}{\Theta }^{(k)}\right)\text{\hspace{1em}(4)}$$
经过多个上述的图卷积层后，便可利用最终得到的结点表示进行分类任务了，即：
$${\hat{\mathrm{Y}}}_{\mathrm{G}\mathrm{C}\mathrm{N}}=\mathrm{softmax}\left({\mathrm{S}\mathrm{H}}^{(K-1)}{\Theta }^{(K)}\right)\text{\hspace{1em}(5)}$$

对图卷积的简化

线性化（Linearization）: 作者删除了图卷积中的非线性激活操作，因此整个GCN模型可以表示为：
$$\hat{\mathrm{Y}}=\mathrm{softmax}\left(\mathrm{S}\dots \mathrm{S}\mathrm{S}\mathrm{X}{\Theta }^{(1)}{\Theta }^{(2)}\dots {\Theta }^{(K)}\right)\text{\hspace{1em}(6)}$$
为了简化符号，作者用${\mathbf{S}}^K$表示 $\mathbf{S}$的$K$次幂，并用$\Theta$表示${\Theta }^{(1)}{\Theta }^{(2)}\dots {\Theta }^{(K)}$，然后模型可以简写为：
$${\hat{\mathbf{Y}}}_{\mathrm{S}\mathrm{G}\mathrm{C}}=\mathrm{softmax}\left({\mathbf{S}}^K\mathbf{X}\Theta \right)\text{\hspace{1em}(7)}$$
上述模型其实可以看成先对故进行$K$轮消息传播（${\mathbf{S}}^K\mathbf{X}$），然后对经过$K$轮传播后的结点的特征进行传统的softmax回归，这便是作者提出的SGC模型，该模型的结构图以及与传统的GCNs的对比如下：

${\Theta }^{(1)}{\Theta }^{(2)}\dots {\Theta }^{(K)}$虽然乘了很多个权重矩阵，其实还是线性的，因此可以扁平化为单个权重矩阵。

谱（Spectral）分析

GCN图卷积公式的谱图推导

作者介绍了如何根据谱图理论得到GCN中的图卷积公式，假设$x\in {\mathbb{R}}^n$是图的顶点上定义的信号，则图上的傅里叶变换可以定义为：
$$\hat{\mathrm{x}}={\mathrm{U}}^{\top }\mathrm{x}\text{\hspace{1em}(8)}$$
则信号$x$和滤波器$g$间的卷积操作可以定义为:
$$\mathrm{g}\ast \mathrm{x}=\mathrm{U}\left(\left({\mathbf{U}}^{\top }\mathrm{g}\right)\odot \left({\mathbf{U}}^{\top }\mathrm{x}\right)\right)=\mathbf{U}\hat{\mathbf{G}}{\mathbf{U}}^{\top }\mathrm{x}\text{\hspace{1em}(9)}$$
当公式(9)的计算复杂度比较高，因此引入切比雪夫多项式来降低计算的复杂度，即：
$$\mathrm{U}\hat{\mathbf{G}}{\mathbf{U}}^{\top }\mathbf{x}\approx \sum _{i=0}^k{\theta }_i{\Delta }^i\mathbf{x}=\mathbf{U}\left(\sum _{i=0}^k{\theta }_i{\Lambda }^i\right){\mathbf{U}}^{\top }\mathbf{x}\text{\hspace{1em}(10)}$$
而Kipf & Welling (2017)提出的GCN模型中直接取$k=1$，即图卷积的近似公式为：
$$\mathrm{g}\ast \mathrm{x}=\theta \left(\mathbf{I}+{\mathrm{D}}^{-1/2}{\mathrm{A}\mathrm{D}}^{-1/2}\right)\mathrm{x}\text{\hspace{1em}(11)}$$
Kipf & Welling (2017)还使用了一个**重正则化（renormalization）**的技巧，即用${\tilde{\mathbf{D}}}^{-1/2}\tilde{\mathbf{A}}{\tilde{\mathbf{D}}}^{-1/2}$来代替$\mathbf{I}+{\mathbf{D}}^{-1/2}{\mathbf{A}\mathbf{D}}^{-1/2}$，其中$\tilde{\mathbf{A}}=\mathbf{A}+\mathbf{I}$。

SGC和低通滤波器

作者论文中的定理1指出，添加自环后，正则化后的图拉普拉斯矩阵的最大特征值会变小，即添加自循环有效缩减了图的谱域，在该缩放的谱域上，SGC充当了一个低通滤波器，在图上生成平滑的特征。因此，邻居结点倾向于共享相似性的表示。

实验

作者在Cora、Citeseer、Pubmed和Reddit数据集上进行了半监督结点分类任务（semi-supervised node classification），这几个数据集的特征为：

在三个论文引用网络上的性能如下：

在Reddit数据集上与其他模型的F1 score对比结果如下：

另外作者还展示了在Pubmed和Reddit数据集上的训练时间与性能：

从实验结果可以看出来，SGC虽然对模型进行了简化，但是其性能相比于其它SOTA来说还是差不多的，与此同时，SGC的训练时间大幅度降低。