从图傅里叶变换到图卷积神经网络

• 1. 图傅里叶变换
• 2. 图傅里叶变换到图卷积
• 3. 从图卷积到图卷积神经网络(GCN)

1. 图傅里叶变换

请参考文章

2. 图傅里叶变换到图卷积

有了图傅里叶傅里叶变换(Ggraph Fourier Transform，GTF)后，就可以把图从空域转化到频域分析。

对于图信号 $x_1$ 和$x_2$，先使用图傅里叶变换把图信号从空域转换到频域:

$$\begin{gathered} \widehat{x_1}=V^T{x}_1 \\ \widehat{x_2}=V^T{x}_2 \end{gathered}$$

其中$V$是由拉普拉斯矩阵$L$的特征向量组成的特征矩阵，即$V=[v_1,v_2,\dots ,v_n]$。
然后再将从频域上将$x_1$和 $x_2$进行哈达玛积(element-wise，逐元素相乘)

$$\widehat{x_1}\odot \widehat{x_2}$$

最后在把结果使用逆图傅里叶变换(Inverse Graph Fourier Transform，IGFT)转回到空域。

$$V(\widehat{x_1}\odot \widehat{x_2})$$

这就是图卷积的定义:

$$x_1\ast x_2=V(\widehat{x_1}\odot \widehat{x_2})=V((V^T{x}_1)\odot (V^T{x}_2))$$

其中 $\ast$是卷积操作，$\odot$是哈达玛积(Hadamard 积，element-wise)

为什么是使用 Hadamard 积: Hadamard 积 操作可以解释为两个图信号在每个基函数上的结合。举个例子，$x_{2_i}$ 和 $x_{1_i}$ 是$x_2$与$x_1$在第 i 个基上的系数，那么$(x_1\ast x_2{)}_i=x_{1_i}\times x_{2_i}$，把所有基上的系数向量化组合后就是 Hadamard 积。

对图卷积操作进行进一步推导:

$$\begin{array}{rl}{x}_1\ast x_2& =V((V^T{x}_1)\odot (V^T{x}_2))\\ & =V(\widehat{x_1}\odot (V^T{x}_2))\\ & =V(diag(\widehat{x_1})V^T{x}_2)\\ & =(Vdiag(\widehat{x_1})V^T)x_2\\ & =(V{g}_{\theta }V)x_2\end{array}$$

从这个式子可以看出，图卷积操作可以转换成图滤波操作，其中$diag(\widehat{x_1})$是滤波器，因此对于不同的图，需要不同的滤波器来进行滤波，以提取出有效的信息。

借助深度学习中卷积神经网络的做法:

1. 把滤波器进行参数化，引入自适应的滤波器
2. 引入激活函数，增加非线性表达

那么图卷积就变成了:

$$\begin{array}{rl}& X^{\prime }=\sigma (V\left[\begin{array}{cccc}{\theta }_1& & & \\ & {\theta }_2& & \\ & & \ddots & \\ & & & {\theta }_N\end{array}\right]V^{\mathrm{T}}X)\\ & =\sigma (Vdiag(\theta )V^{T}X)\\ & =\sigma (\Theta X)\end{array}$$

其中，$\sigma$是激活函数，$\theta =[{\theta }_1,{\theta }_2,\dots ,{\theta }_n]$是需要学习的参数，$\Theta$是对应学习的图滤波器。$X$是输入矩阵，$X^{\prime }$是输出矩阵。

3. 从图卷积到图卷积神经网络(GCN)

参数化后图卷积核有一些缺点:

1. 需要对拉普拉斯矩阵进行谱分解来求，在 graph 很大的时候复杂度很高。另外，还需要计算矩阵乘积，复杂度为 O(n²)。
2. 卷积核参数为 n，当 graph 很大的时候，n 会很大。

因此为了减小计算量，需要对图卷积进行近似(使用多项式来近似可以减少计算量)，由于图傅里叶变换是关于特征值(相当于普通傅里叶变换的频率)的函数，$g({\lambda }_1),g({\lambda }_2),\dots ,g({\lambda }_n)$，把特征值组成向量，就变成了$g(\Lambda )$, 然后使用 K 阶多项式进行近似:

$$g_{{\theta }^{\prime }}(\Lambda )\approx \sum _{k=0}^K{\theta }_k^{\prime }{\Lambda }^k$$

带入到卷积公式中有:

$$\begin{array}{rl}{g}_{{\theta }^{\prime }}\ast x& \approx V\sum _{k=0}^K{\theta }_k^{\prime }{\Lambda }^k{V}^{T}x\\ & =\sum _{k=0}^K{\theta }_k^{\prime }\left(V{\Lambda }^k{V}^T\right)x\\ & =\sum _{k=0}^K{\theta }_k^{\prime }{\left(V\Lambda V^T\right)}^{k}x\\ & =\sum _{k=0}^K{\theta }_k^{\prime }{L}^{k}x\end{array}$$

这就可以看出，使用多项式进行近似后，就不需要做特征分解了，可以直接对拉普拉斯矩阵做变换，通过事先将拉普拉斯矩阵求出来，以及求出来$L^k$，前向传播的时候，就可以直接使用，复杂度为$O(K{n}^2)$。

对于每一次拉普拉斯矩阵和相乘，对于节点 n，相当于从邻居节点传递一次信息给节点 n，由 于连续乘以了 K 次拉普拉斯矩阵，那么相当于 n 节点的 k-hop 之内的节点能够传递信息给 n，因此，实际上只利用了节点的 K-Localized 信息

GCN 论文中使用的是切比雪夫多项式来近似计算:

$$g_{{\theta }^{\prime }}(\Lambda )\approx \sum _{k=0}^K{\theta }_k^{\prime }{T}_k(\tilde{\Lambda })，$$

其中$\tilde{\Lambda }=\frac{2}{{\lambda }_{max}}\lambda -I_N,{\theta }^{\prime }\in {\mathbb{R}}^K$为切比雪夫向量${\theta }_k^{\prime }$的第k个分量。

切比雪夫多项式使用递归定义:$T_k(x)=2x{T}_{k-1}(x)-T_{k-2}(x),T_0=1,T_1=x$。
带入卷积公式可得

$$\begin{array}{rl}{g}_{{\theta }^{\prime }}\ast x& \approx V\sum _{k=0}^K{\theta }_k^{\prime }{T}_k(\tilde{\mathbf{\Lambda }})V^T\mathbf{x}\\ & \approx \sum _{k=0}^K{\theta }_k^{\prime }\left(V{T}_k(\tilde{\mathbf{\Lambda }})V^T\right)x\\ & =\sum _{k=0}^K{\theta }_k^{\prime }{T}_k(\tilde{\mathbf{L}})x\end{array}，$$

其中$\hat{L}=\frac{2}{{\lambda }_{max}}L-I_N$

为了进一步简化，考虑只从一阶邻居中获取信息，令 K=1，${\lambda }_{max}=2$(可证明拉普拉斯矩阵的特征值在[0, 2])，则图卷积可以进行一步化简为

$$\begin{array}{rl}{\mathbf{g}}_{{\mathbf{\theta }}^{\prime }}\ast \mathbf{x}& \approx {\mathbf{\theta }}_0^{\prime }\mathbf{x}+{\mathbf{\theta }}_1^{\prime }\left(\mathbf{L}-{\mathbf{I}}_n\right)\mathbf{x}\\ & ={\mathbf{\theta }}_0^{\prime }\mathbf{x}+{\mathbf{\theta }}_1^{\prime }\left(\mathbf{L}-{\mathbf{I}}_n\right)\mathbf{x}\\ & ={\mathbf{\theta }}_0^{\prime }\mathbf{x}-{\mathbf{\theta }}_1^{\prime }\left({\mathbf{D}}^{-1/2}\mathbf{A}{\mathbf{D}}^{-1/2}\right)\mathbf{x}\end{array}$$
其中归一化拉普拉斯矩阵$\tilde{L}=({\mathbf{D}}^{-1/2}\mathbf{A}{\mathbf{D}}^{-1/2})$。由于拉普拉斯矩阵的特征值在[0, 2]之间，在反向传播时会导致梯度消失/梯度爆炸，因此使用一个trick，具体操作是用$\tilde{A}=A+I_N$，这样特征值就从[0, 2]变成了[-1, 1]。

为什么特征值会影响反向传播:$\frac{\partial \sigma (LX)}{\partial X}=\frac{\partial \sigma }{\partial (LX)}\cdot \frac{\partial (LX)}{\partial X}=\frac{\partial \sigma }{\partial (LX)}\cdot \frac{\partial \lambda X}{\partial X}=\lambda \frac{\partial \sigma }{\partial (LX)}\cdot \frac{\partial X}{\partial X}=\lambda \frac{\partial \sigma }{\partial (LX)}$ 在反向传播时梯度会被特征值影响，因此把特征值稳定在[-1,1]之间可以缓解

进一步简化，令${\theta }_0^{\prime }=-{\theta }_1^{\prime }=\theta$，可得
$$g_{\theta }\ast x=\theta \tilde{L}x$$
最后把这个公式推广到多通过(把不同通过的拼接成矩阵)就可以得到图卷积神经网络的传播公式
$${\mathbf{H}}^{l+1}=\sigma ({\mathbf{D}}^{-1/2}\tilde{A}{\mathbf{D}}^{-1/2}{\mathbf{W}}^l{\mathbf{H}}^l)$$,
其中$W$可学习的参数($\theta$)，H是隐藏层(当l=0时，$H^0$是输入的特征矩阵X), $\sigma$是激活函数。

参考: 1.深入浅出图神经网络GCN原理解析 2.图神经网络基础，前沿与应用（吴凌飞）3.图神经网络基础与前沿沿(马腾飞)