【论文阅读】Simplifying Graph Convolutional Networks

Abstract

在本文中，通过移除非线性和折叠权重矩阵来降低原来的GCN中额外的复杂性。本文从理论上分析了所得到的线性模型，并表明它对应于一个固定的低通滤波器和一个线性分类器。
实验评估表明，这些简化对许多下游应用的准确性都不会产生负面影响。此外，生成的模型可以扩展到更大的数据集，具有自然的可解释性，与FastGCN相比，可以产生高达两个数量级的加速比。

Introduction

GCNs将学习的一阶谱滤波器堆叠在一起，然后使用非线性激活函数来学习图形表示。 我们提出了SGC，通过反复消除GCN层之间的非线性，并将生成的函数折叠为单个线性变换，来降低GCN的过度复杂性。最终的线性模型在各种任务上表现出与GCN相当甚至更高的性能，同时计算效率更高，拟合的参数更少。

Simple Graph Convolution

定义$G=(V,A)$，$V$为顶点集，$A$为邻接矩阵，$D$为顶点度矩阵。每个顶点$v_i$有一个对应的$d$维的特征向量$x_i$，所有特征向量为$X$。每个顶点都属于$C$类中的一个，$Y$表示类别标签集合。
对于所有顶点集，我们知道子集标签，并希望预测未知标签。

GCN

GCN为每个节点的特征$x_i$学习一种新的特征表示，随后将其用作线性分类器的输入。在每个图卷积层中，节点表示在三个方向更新：特征传播、线性变换和逐点非线性激活 。

Feature propagation

在每个层的开始处，每个节点$v_i$的特征$h_i$用其局部邻域中的特征向量进行平均：

表示为矩阵运算为：
$$S={\tilde{D}}^{-1/2}\tilde{A}{\tilde{D}}^{-1/2}$$
其中$\tilde{A}=A+I$，$\tilde{D}$为对应的度矩阵。
因此所有顶点的更新为：
$${\bar{H}}^{(k)}\leftarrow S{H}^{(k-1)}$$

Feature transformation and nonlinear transition

局部平滑后，GCN层与标准MLP相同。每一层都与一个学习的权重矩阵相关联，在输出特征表示之前，逐点应用非线性激活函数，如ReLU 。
$$H^{(k)}\leftarrow ReLU({\bar{H}}^{(k)}{\Theta }^{(k)})$$
第k层的逐点非线性变换之后是第（k+1）层的特征传播。

Classifier

对于节点分类，与标准MLP类似，GCN的最后一层使用softmax分类器预测标签
Y ^ G C N = s o f t m a x ( S H ( k − 1 ) Θ ( k ) ) \hat