《Semi-Supervised Classification With Graph Convolutional Networks》阅读笔记

论文地址：Semi-Supervised Classification with Graph Convolutional Networks

图半监督学习：指图上只有部分样本（节点）有标签，这些样本通过边进行标签传播以标记那些没有标签的样本。

文章主要贡献：作者基于谱图卷积的1阶近似提出了图卷积神经网络，该方法在大图上高效的完成图上的节点半监督分类任务。

理论基础：谱图卷积

注：作者文中使用的是无向图。

假设图信号为$x\in {\mathbb{R}}^N$，滤波器 $g_{\theta }=\mathrm{diag}(\theta )$由$\theta$参数化，则图信号上的卷积可以定义为：
$$g_{\theta }\star x=U{g}_{\theta }{U}^{\top }x\text{\hspace{1em}(1)}$$
其中$U$是正则化的拉普拉斯矩阵的特征向量矩阵，图的拉普拉斯矩阵的正则化为：
$$\begin{array}{rl}L& =D^{-1/2}(D-A)D^{-1/2}\\ & =I_N-D^{-1/2}A{D}^{-1/2}\end{array}\text{\hspace{1em}(2)}$$
其中$D-A$为未正则化的拉普拉斯矩阵，$D$为图的度矩阵，$A$是图的邻接矩阵。无向图上的拉普拉斯矩阵是一个实对称半正定矩阵，基于此，图的拉普拉斯矩阵可以分解为：
$$L=U\Lambda U^{\top }\text{\hspace{1em}(3)}$$
其中$\Lambda$是拉普拉斯矩阵的特征值组成的对角阵。$L$的特征向量可以构成一个正交空间，即：
$$U^{T}U=I\text{\hspace{1em}(4)}$$
基于上述介绍，公式（1）中的$U{g}_{\theta }$和$U^{T}x$可以看作将滤波器和图信号在正则化的图拉普拉斯矩阵的特征向量张成的特征空间中的投影。而$g_{\theta }$可以看作$L$的特征值的函数$g_{\theta }(\Lambda )$。因此，图谱卷积即先将图信号和滤波器投影到图的谱域，然后进行卷积操作。

但是公式（1）的计算代价非常高，特征值分解的复杂度为 $O(N^3)$ 。因此一般都不会直接使用特征分解，而是对$g_{\theta }(\Lambda )$进行估计，在本文中便是使用切比雪夫多项式来对其进行估计，即：
$$g_{{\theta }^{\prime }}\star x\approx \sum _{k=0}^K{\theta }_k^{\prime }{T}_k(\tilde{L})x\text{\hspace{1em}(5)}$$
其中$\tilde{L}=\frac{2}{{\lambda }_{\max }}L-I_N$（${\lambda }_{max}$表示$L$最大的特征值），$T_k(\hat{L})$代表切比雪夫多项式。

作者假设$K=1,{\lambda }_{max}=2,\theta ={\theta }_0^{\prime }=-{\theta }_1^{\prime }$，公式（5）可以简写为：
$$\begin{array}{rl}{g}_{{\theta }^{\prime }}\star x& \approx {\theta }_0^{\prime }x+{\theta }_1^{\prime }\left(L-I_N\right)x\\ & ={\theta }_0^{\prime }x-{\theta }_1^{\prime }{D}^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}x\\ & =\theta \left(I_N+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}\right)x\end{array}\text{\hspace{1em}(6)}$$
此外，作者使用了一个renormalization trick：$I_N+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}\to {\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}$，其中$\tilde{A}=A+I_N$， ${\tilde{D}}_{ii}={\sum }_j{\tilde{A}}_{ij}$。将该定义泛化到矩阵模式，设图信号矩阵为$X\in {\mathbb{R}}^{N\times C}$，则滤波器在图信号$X$的卷积为：
$$Z={\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}X\Theta \text{\hspace{1em}(7)}$$

其中$\Theta$ 表示滤波参数。

GCN模型

基于谱图卷积，作者设计了一个2层的GCN模型用于半监督节点分类任务，其形式化定义为：
$$Z=f(X,A)=\text{softmax}(\hat{A}\text{ ReLU}(\widehat{AX{W}^{(0)}})W^{(1)})\text{\hspace{1em}(8)}$$
其中$W^{(0)}$和$W^{(1)}$分别表示第一层和第二层的权重参数。作者使用交叉熵损失函数来进行模型的优化。下图是2层GCN模型的可视化，以及在Cora数据集上隐藏层表示的t-SNE降维可视化结果。

实验部分

作者测评的数据集总结如下：

注：Label rate表示有标签的节点在图中的占比。

与其它模型的性能比较结果如下所示，从结果可以看出GCN的性能超过其它模型一截。

结语

以上便是本文的全部内容，要是觉得不错的话，可以点个赞或关注一下博主，你们的支持是博主进步的不竭动力，当然要是有问题的话也敬请批评指正！！！