图卷积（6）——过平滑现象（1）

图卷积（6）——过平滑现象（1）

过平滑现象的提出是在论文Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning中。作者将GCN用于半监督学习任务，发现采用多层GCN之后，会出现过平滑现象（over-smoothing）。
文章提出三个核心观点：

1. 拉普拉斯平滑：GCN中图卷积是特殊形式的拉普拉斯平滑，可以聚合临近节点的特征，使同一类别的节点的特征相似；
2. 过平滑问题：多层GCN使得节点输出特征过度平滑，这样便无法区分不同类别的节点。该现象尤其是在小数据集上容易出现（这点类似于过拟合问题）；
3. 标签传播困难：多层GCN会造成过平滑现象的同时，层数太少也无法很好地传播节点标签；

拉普拉斯平滑介绍

我们将GCN于全连接进行简单的比对：
$$\begin{array}{rl}\mathrm{G}\mathrm{C}\mathrm{N}& :\mathrm{Y}=\hat{\mathrm{A}}\mathrm{X}\mathrm{W}\\ \mathrm{F}\mathrm{C}\mathrm{N}& :\mathrm{Y}=\mathrm{X}\mathrm{W}\end{array}$$

图为原论文中的数据，不难看出GCN比FCN性能高出这么多的原因是因为GCN中包含邻接矩阵。而其表现优异的根本原因是GCN是一种特殊形式的拉普拉斯平滑。拉普拉斯平滑的三种形式为：

1. 标准形式：${\mathbf{y}}_i=(1-\gamma ){\mathbf{x}}_i+\gamma {\sum }_j\frac{{\tilde{a}}_{ij}}{d_i}{\mathbf{x}}_j,1\le i\le n$
2. 矩阵形式：$\mathbf{Y}=\mathbf{X}-\gamma {\tilde{\mathbf{D}}}^{-1}\tilde{\mathbf{L}}\mathbf{X}=\left(\mathbf{I}-\gamma {\tilde{\mathbf{D}}}^{-1}\tilde{\mathbf{L}}\right)\mathbf{X}$
3. 特殊形式：$\mathbf{Y}=\left(\mathbf{I}-{\tilde{\mathbf{D}}}^{-1}(\tilde{\mathbf{D}}-\tilde{\mathbf{A}})\right)\mathbf{X}={\tilde{\mathbf{D}}}^{-1}\tilde{\mathbf{A}}\mathbf{X},\gamma =1$

标准形式中的${\tilde{a}}_{ij}$代表矩阵$\tilde{A}=A+I$的第$i,j$个元素，$d_i$指$\tilde{A}$的度矩阵的对角线上的第$i$个元素。GCN可以看作为特殊形式的拉普拉斯平滑，GCN表现优异其实就是拉普拉斯平滑的性能特别好。拉普拉斯相当于对节点的特征进行了一个低频的滤波，让中心节点的特征可以传播出去，使得周围节点的特征和中心节点的特征是相似的，这对于进行图半监督学习的非常有利的。
过平滑现象就是多次使用拉普拉斯平滑之后，也就是采用了多层GCN之后，不同节点的特征趋于同质化（同一个连通分量内，所有结点的特征几乎都是一样的）。

理论分析

设定 G = { C i } i = 1 K \mathcal{G}=\left\{C_{i}\right\}_{i=1}^{K} G={Ci​}i=1K​有$K$个连通分量，第$i$个连通分量的指示向量为$1^{(i)}\in R^n$，这里我们提出一个定理：若一个图，没有二分连通分量，则对于任意向量$\mathbf{w}\in R^n,\alpha \in (0,1]$，有：$$\begin{array}{rl}\underset{m\to +\infty }{\lim }{\left(\mathbf{I}-\alpha {\mathbf{L}}_{rw}\right)}^m\mathbf{w}& =\left[1^{(1)},1^{(2)},\cdots ,1^{(K)}\right]{\theta }_1\\ \underset{m\to +\infty }{\lim }{\left(\mathbf{I}-\alpha {\mathbf{L}}_{sym}\right)}^m\mathbf{w}& ={\mathbf{D}}^{-\frac{1}{2}}\left[1^{(1)},1^{(2)},\cdots ,1^{(K)}\right]{\theta }_2\end{array}$$
其中，${\theta }_1,{\theta }_2\in {\mathbb{R}}^K$。假设每个节点上有一个标量特征，那么$\mathbf{w}\in R^n$便是这张图的特征。如果一直对$\mathbf{w}$左乘一个矩阵，会得到一个定值，便是各连通分量乘以图中的$\theta 1$（指示向量维度是$N\times 1$，拼接之后维度便是$N\times K$，${\theta }_1$是大小为$K\times 1$的列向量，最后相乘得到$N\times 1$的向量，便是每个节点的定值）。不管输入的特征是多少，最后都会是以${\theta }_1$来表示的定值。
P.S. 工事中的$rw$指基于随机游走的归一化的图拉普拉斯矩阵，$sym$是一个对称形式的图拉普拉斯矩阵。
如果要证明上述定理，需要证得两点：1. 左边的矩阵乘法是拉普拉斯平滑，或者是GCN；2. 等式成立。
对于第一点，之前写到矩阵形式的拉普拉斯平滑为$\mathbf{Y}=\mathbf{X}-\gamma {\tilde{\mathbf{D}}}^{-1}\tilde{\mathbf{L}}\mathbf{X}=\left(\mathbf{I}-\gamma {\tilde{\mathbf{D}}}^{-1}\tilde{\mathbf{L}}\right)\mathbf{X}$，而定理中等式左边的矩阵乘法为：${\left(\mathbf{I}-\alpha {\mathbf{L}}_{sym}\right)}^m\mathbf{w}$，由于$D$是对角矩阵，所以$\gamma {\tilde{\mathbf{D}}}^{-1}\tilde{\mathbf{L}}\mathbf{X}$和$\alpha {\mathbf{L}}_{sym}$是类似的，所以第一点证毕。
对于第二点，首先，我们列出两个图拉普拉斯矩阵的特征值和特征向量：

矩阵	$L_{rw}$	$L_{sym}$
特征值	[0, 2)	[0, 2)
特征向量	${\left\{1^{(i)}\right\}}_{i=1}^K$	${\left\{{\mathbf{D}}^{-\frac{1}{2}}{1}^{(i)}\right\}}_{i=1}^K$

将矩阵进行变换（$\alpha \in (0,1]$），得到以下内容：

矩阵	$I-\alpha L_{rw}$	$I-\alpha L_{sym}$
特征值	(-1, 1]	(-1, 1]
特征空间	${\left\{1^{(i)}\right\}}_{i=1}^K$	${\left\{{\mathbf{D}}^{-\frac{1}{2}}{1}^{(i)}\right\}}_{i=1}^K$

矩阵进行变化时，特征值按照矩阵的变化而变化，变化后的特征值对应的特征向量也会变化，但特征空间不会变，即以新的特征向量为基的特征空间和以原来特征向量为基的提升空间是同一个。
由于矩阵特征值的绝对值小于1，所以定理左边不管进行多少次的矩阵乘法，依旧处于一开始的特征空间，所以最后的结果是可以用一开始的特征向量作为基来表示的。所以第2点证毕。
基于上述定理，过平滑（over-smoothing）会使特征难以区分，影响模型性能。