GCN总结

论文链接：SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS

1、图信号处理面临的挑战

• Challenge1 : Shifting
  加权图是不规则结构，缺少平移不变的平移概念。 f(t-n)不再有意义。因此不能直接应用卷积。
  特殊情况：环形图，其拉普拉斯算子是循环的，因此这类图是高度规则的。
• Challenge2 : Transform
  图的频谱是离散的且不规则地间隔开。 对于实数信号而言，可以通过乘以负数指数对应到傅里叶域内。因此对于图而言，也需要一个频域转换规则，否则无法进行卷积。
• Challenge3 : Downsampling
  对于数值离散信号，我们很容易理解下采样，即对于一个样值序列间隔几个样值取样一次，该操作对于池化必不可少，但是对于图而言，它的下采样怎么定义？
• Challenge4 : Multiresolution
  除了下采样概念，还需要生成图的较粗略版本的方法，以实现多分辨率。 粗略版本应捕获嵌入在原始图中的结构特性。

2.数学基础——Graph Laplacian

• D：对角矩阵，其对角线上第i个值$d_i$等于与图中顶点$v_i$相连的所有边的加权和。
• combinatorial graph Laplacian / non-normalized graph Laplacian：$L=D-W$
• normalized graph Laplacian / symmetric normalized Laplacian:
  $\tilde{L}=D^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}=I_N-D^{-\frac{1}{2}}W{D}^{-\frac{1}{2}}$
• asymmetric graph Laplacian:$L_a=I_N-P$，其中$P=D^{-1}W$是随机游走矩阵。

3. GCN

关于图的研究路线可以从顶点域和频域两方面开展，我们在这里介绍的GCN是一种采用频域方法对图信号进行处理，采用频域相乘代替CNN网络中的实域卷积进行SGC操作。

既然我们面临挑战1和2，容易想到我们可以思考在傅里叶域内进行graph的操作。考虑图$\mathcal{G}=\mathcal{V},\epsilon ,\mathcal{W}$，想要实现卷积层功能，如上图所属，我们希望隐层传递关系为信号$\times$滤波器： $y=g_{\theta }(L)x$。
回顾：Laplacian可以通过正交的特征向量对角化。$L=U\Lambda U^T$
从而： $y=U{g}_{\theta }(\Lambda )U^{T}x$
但是，上述隐含层形式计算复杂度高$O(n^2)$，并且L的特征分解也很麻烦。为此，采用截断切比雪夫多项式展开近似$g_{\theta }(L)$。
$y=g_{\theta }(L)x\approx {\sum }_0^{K-1}{\theta }_k{T}_k(\tilde{L})x\approx {\theta }_{0}x+{\theta }_1(L-I_N)x$
令${\theta }^{\ast }={\theta }_0=-{\theta }_1$:
$y={\theta }^{\ast }\tilde{L}x\approx {\theta }^{\ast }(I_N+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}})x$
令$\tilde{A}=A+I_N,{\tilde{D}}_{ii}={\sum }_{}^j{\tilde{A}}_{ij},\Theta \in {\mathbb{R}}^{C\times F}是滤波器参数$，从而得到卷积的信号矩阵:
$Z={\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}X\Theta$