3.《SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS》论文理解

在《SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS》 中，作者对《Convolutional Neural Networks on Graphs
with Fast Localized Spectral Filtering》作出了改进，提出了以下创新：
（1）提出了一个可以直接在图上操作的神经网络模型的逐层传播规则；
（2）证明了这种形式的图卷积网络怎样在图上实现半监督的节点分类；

1.神经网络模型的逐层传播规则
卷积公式的频域表示：
$$g\ast x=U{g}_{\theta }{U}^{T}x\text{\hspace{1em}(1)}$$

定义$L$为对称归一化图拉普拉斯矩阵，$L=I_N-D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}=U\Lambda U^T$,$A$是无向图的邻接矩阵(可以是二值，也可以是权值)，$D_{ii}={\sum }_j{A}_{ij}$是图的度矩阵。$U$是$L$特征向量矩阵。$L$的特征值范围为[0,1]。
由论文《Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering》得到，式(1)可以推导为：
$$g_{{\theta }^{{}^{\prime }}}(\Lambda )\approx \sum _{k=0}^K{\theta }_k^{{}^{\prime }}{T}_k(\tilde{\Lambda })\text{\hspace{1em}(2)}$$

其中$\tilde{\Lambda }=\frac{2}{{\lambda }_{max}}\Lambda -I_N$,${\theta }^{{}^{\prime }}\in R^K$是切比雪夫系数。得到：$g\ast x\approx {\sum }_{k=0}^K{\theta }_k^{{}^{\prime }}{T}_k(\tilde{L})x$,其中$\tilde{L}=\frac{2}{{\lambda }_{max}}L-I_N$。$\tilde{L}$的特征值范围为[-1,1]。
当使用$K=1$时，式（2）在频域变为线性函数，即：
$$g\ast x\approx {\theta }_0^{{}^{\prime }}x+{\theta }_1^{{}^{\prime }}(\frac{2}{{\lambda }_{max}}L-I_N)x\text{\hspace{1em}(3)}$$

将${\lambda }_{max}\approx 2$，则
$$g\ast x\approx {\theta }_0^{{}^{\prime }}x+{\theta }_1^{{}^{\prime }}(L-I_N)x={\theta }_0^{{}^{\prime }}x-{\theta }_1^{{}^{\prime }}(D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}})x\text{\hspace{1em}(4)}$$

由于${\theta }_0^{{}^{\prime }},{\theta }_1^{{}^{\prime }}$是训练参数，是可调整的，使得${\theta }_0^{{}^{\prime }}=-{\theta }_1^{{}^{\prime }}=\theta$，那么
$$g\ast x\approx \theta (I_N+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}})x\text{\hspace{1em}(5)}$$

$I_N+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}$的特征值范围为[0,2],可能会导致梯度消失和梯度爆炸的问题，将$I_N+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}$再次归一化为${\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}$,其中，$A\widetilde{=}A+I_N$,${\tilde{D}}_{ii}={\sum }_j{\tilde{A}}_{ij}$，可以有效的避免这个问题，同时由于$\theta$为一个数，可以放到等式的最后，得到：
$$g\ast x\approx ({\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}})x\theta \text{\hspace{1em}(6)}$$

当信号$x$为多通道信号$X\in R^{N\times C}$时，并且使用$F$个卷积核，使得每个输出节点的通道数为$F$，则：
$$Z=({\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}})X\Theta \text{\hspace{1em}(7)}$$

$C$为输入节点的通道数，$F$为输出节点的通道数，同时也是卷积核数目；$\Theta \in R^{C\times F}$为这$F$个卷积核的参数。

2.半监督的节点分类
令${\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}=\hat{A}，\Theta =W$,则两层的图卷积分类网络可以表示为：
$$Z=f(X,A)=softmax(\hat{A}ReLU(\hat{A}X{W}^{(0)})W^{(1)})\text{\hspace{1em}(8)}$$

需要说明的是，一个图就是一个样本，每个样本在逐层传播的过程中认为$\hat{A}$是一样的，也就是说每层中$\hat{A}$是共享的。$softmax(x_{ij})=\frac{exp(x_{ij})}{{\sum }_{j}exp(x_{ij})}$，$i\in [1,N],j\in [1,F],x_i\in R^{1\times F}$表示两层卷积后输出$(R^{N\times F})$的第$i$行。交叉熵为$L=-{\sum }_{l\in Y_L}{\sum }_{f=1}^F{Y}_{lf}ln{Z}_{lf}$,其中$Y_L$是有标签节点的集合。