GNN在谱域下的演化：Spectral CNN，ChebyNet，GCN

---

1. 主要脉络梳理

1. 本文先从图傅里叶变换说起，图傅里叶变换相对简单，不太需要太多的背景知识，其核心内容是基于拉普拉斯矩阵的正交对角化分解，以及两个定义好的变换公式。
2. 傅里叶变换与卷积定理经常一起出现的，在卷积定理部分，推导出图卷积的的通用形式 $U{g}_{\theta }{U}^{T}x$
3. 基于卷积定理和CNN的三大特性，LeCun组提出Spectral CNN，但其中涉及到了拉普拉斯矩阵分解和稠密特征向量矩阵$U$相乘，计算量巨大，在大规模图上难以落地。
4. ChebyNet利用切比雪夫多项式的矩阵形式参数化核卷积$g_{\theta }$和特征值矩阵$\Lambda$ 的多项式组合，经过一些简单运算，使得卷积定理结果中仅保留了要学习的参数$\theta$和$L$的多项式，大大减少的参数量和计算复杂度，图卷积神经网络变得实用起来。
5. GCN更是在ChebyNet的基础上，简化了更多更多参数，最终才呈现如此简单的模型结构，将谱方法与空间方法进行了统一，因此我们常说谱方法是空间方法的一个特例，两者不是对立关系，而是包含关系；

2. 图傅里叶变换（Graph Fourier Transform）

2.1 拉普拉斯矩阵特征分解

图 的拉普拉斯矩阵$L$是一个实对称矩阵，由于实对称矩阵可以被正交对角化：
$$L=U\Lambda U^T=U\left(\begin{array}{cccc}{\lambda }_1& & & \\ & {\lambda }_2& & \\ & & \ddots & \\ & & & {\lambda }_2\end{array}\right)U^T$$
其中$U=(u_1,u_2,\cdots ,u_n)$，因为$U$是正交矩阵，$U{U}^T=I$，所以$u_i{u}_i^T=1$且$u_i{u}_j^T=0$。特征值${\lambda }_i=u_i^{T}L{u}_i$，特征值反映了特征向量的平滑度，值越小代表对应的特征向量变化越平缓，取值差异不明显。因此图傅里叶变换就是在将一个图信号分解到不同平滑程度的图信号上，就像传统傅里叶变换将函数分解到不同频率的函数上一样。

此外，拉普拉斯矩阵分解过程,我们发现：

• $U$和特征值$\Lambda$的维度与图中节点个数有关，对于大规模的，存在亿级节点的图网络，其参数量巨大，存储代价大
• 与$U$有关的矩阵相乘时间复杂度$O(n^2)$，矩阵分解的时间复杂度$O(n^3)$

2.2 傅里叶基和傅里叶系数

在图傅里叶变换中，利用拉普拉斯矩阵特征向量$U$的正交性，$U^{T}x=U^{T}U\hat{x}=\hat{x}$，将傅里叶变换和傅里叶逆变换**「定义」**如下：
$$\begin{array}{l}\hat{x}=U^{T}x\\ x=U\hat{x}\end{array}$$
我们将图傅里叶逆变换展开成矩阵相乘的形式：
$$\begin{array}{rl}x& =U\hat{x}\\ & ={\left(\begin{array}{ccccc}⋮& ⋮& ⋮& \dots & ⋮\\ u_1& u_2& u_3& \dots & u_n\\ ⋮& ⋮& ⋮& \dots & ⋮\end{array}\right)}^{n\times n}{\left(\begin{array}{c}\widehat{x_1}\\ \widehat{x_2}\\ ⋮\\ \widehat{x_n}\end{array}\right)}^{n\times 1}\\ & =\widehat{x_1}{u}_1+\widehat{x_2}{u}_2+\cdots +\widehat{x_n}{u}_n\end{array}$$
从$x=U\hat{x}=\widehat{x_1}{u}_1+\widehat{x_2}{u}_2+\cdots +\widehat{x_n}{u}_n$可以看出：

• 图上的信号可以通过拉普拉斯矩阵的特征向量的线性加权来表示，因此拉普拉斯矩阵的特征向量$U$就是傅里叶基
• 通过傅里叶变换后的信号$\hat{x}$，为**傅里叶系数**
• 本质上傅里叶系数$\hat{x}$是图信号$x$在傅里叶基上$U$的投影

3. 图卷积

在信号处理中，卷积和傅里叶变换是共同出现的，大家可以把卷积看做是一种信号在时域内的变换过程，是对信号实施操作的一种方法，如对信号的波形进行平滑等等，同时，信号也可以认为就是一个函数，而卷积操作相比于普通的平移，旋转等操作，更复杂，可以从更底层，更本质地去处理信息，为什么这么说呢？

为了回答这个问题，我们就需要知道信号的傅里叶变换是在做什么，简单地理解，傅里叶变换是将信号分解为正交的不同频率三角函数的过程，那么两个信号相互卷积，就可以选择不同的滤波器，使得某些频率的分量在卷积之后可以保留，而其他就被过滤；

在很多情况下，时域内的卷积过程计算较为复杂，信号经过傅里叶变换，转到频域后利用信号直接相乘，可以方便地完成计算，这就是卷积定理要干的事情。

给定两个信号$f(x)$和$g(x)$，根据卷积定理：
$$f\ast g={\mathcal{F}}^{-1}(\mathcal{F}(f)\mathcal{F}(g))$$
表示的是两个信号在时域中的卷积，可以先通过频域的点积，再通过傅里叶逆变换得到时域内结果。

在图信号上，基于上述卷积定理来进行一番运算,，$\ast \mathcal{G}$表示在图上做卷积，根据图傅里叶变换和傅里叶逆变换：
$$\begin{gathered} (x\ast \mathcal{G}y)=U\left(U^{T}x\odot U^{T}y\right) \\ =U{g}_{\theta }{U}^{T}x \end{gathered}$$
那么上式是怎么推导的？

1. 首先，分别对信号$x,y$做图傅里叶变换，得到$\hat{x}=U^{T}x,\hat{y}=U^{T}y$
2. 然后，在频域内进行点乘$U^{T}x\odot U^{T}y$，将$U^{T}y\in {\mathbb{R}}^n$转变为对角矩阵$g_{\theta }\in {\mathbb{R}}^{n\times n}$，$g_{\theta }=\mathrm{diag}\left(\left[\widehat{g_1},\widehat{g_2},\cdots ,\widehat{g_n}\right]\right)$，点积等价于$g_{\theta }{U}^{T}x$。

因此，我们可以将图卷积拆分成3个步骤，同时将$x$看作为输入图信号，而$y$ 做为一个卷积信号，利用$y$实现对输入信号$x$的滤波过程：

​ 步骤1：先根据图拉普拉斯矩阵进行特征分解，得到$U$矩阵，根据$U$对图信号$x$进行傅里叶变换$U^{T}x$
​ 步骤2：利用卷积核$g_{\theta }$作用在图信号$x$的频域上，$g_{\theta }{U}^{T}x$
​ 步骤3：利用图傅里叶逆变换，将处理后的信号，转回到节点域（或者叫空间域），$U{g}_{\theta }{U}^{T}x$

因此，我们可以得到一个信号处理的通用框架，基于这个框架可以进行图卷积神经网络的设计：
$$U{g}_{\theta }{U}^{T}x$$

这里需要解释一个很容易进入的误区。

图傅里叶变换使用的变换矩阵，并不同于离散傅里叶变换。离散傅里叶变换所用矩阵形式固定，如下所示$y=Fx$：
$$\left[\begin{array}{c}{y}_0\\ y_1\\ y_2\\ ⋮\\ y_{n-1}\end{array}\right]=\left[\begin{array}{ccccc}1& 1& 1& \cdots & 1\\ 1& w& w^2& \cdots & w^{n-1}\\ 1& w^2& w^4& \cdots & w^{2(n-1)}\\ ⋮& ⋮& ⋮& \ddots & ⋮\\ 1& w^{n-1}& w^{2(n-1)}& \cdots & w^{(n-1{)}^2}\end{array}\right]\left[\begin{array}{c}{x}_0\\ x_1\\ x_2\\ ⋮\\ x_{n-1}\end{array}\right]$$
F是傅里叶矩阵，形式固定，而图傅里叶中所用矩阵随图结构的不同而变化，因此二者不能混为一谈。那么，既然不是标准的离散傅里叶变换，自然也不能想当然地认为它满足傅里叶变换的许多优良性质，比如时域卷积等于频域相乘，这一点我们后文再说。

因此图傅里叶变换并不是通过严谨的数学推导，将傅里叶变换扩展到图上，而是经过许多类比，直接定义成了这个样子。就好像说，傅里叶变换是以拉普拉斯算子的特征向量为基进行投影，那么图傅里叶变换就以拉普拉斯矩阵的特征向量为基进行投影。虽然不是数学上的严格推导，但如果这个结果还能有实际意义，那我们就更容易接受这样一个定义。。

我们都知道，傅里叶变换有一个性质：时域卷积等价于频域相乘。所以有些人说，是因为$f$和$g$直接做卷积不好算，所以转到频域上做乘法。但这个说法有几个漏洞

• 第一，$f$和$g$两个向量做卷积好像没什么难的
• 第二，第二，$f$和$g$都是长度为$n$的向量，上式卷积计算结果仍是一个长度为$n$的向量，但实际上卷积计算的结果应该是长度为!$2n-1$的向量
• 第三，图傅里叶变换不是由传统傅里叶变换严格推导而来的，不一定享有“时域卷积等价于频域相乘”的性质

实际上，上述卷积公式并不是推导而来，而是直接定义的。我们把频域乘积再变回来这个过程，叫做图卷积。所以说图卷积跟数学中的卷积定义、CNN中的卷积本质上都不是一个东西了，它并不是真正在做卷积，只是在进行等式右侧的计算，我们将这样的计算叫做图卷积。

4. 卷积神经网络(CNN)的特性

只要了解过CNN，肯定都会知道CNN的几大特性：

• 局部连接
  假设给定一张$100\times 100$大小的图片，如果不采用局部连接，而是将整个图片转化为10000维的向量，通过1层神经网络映射到其中1个神经元上，那么需要10000个参数，而在卷积核的局部连接情况下，下一层神经元上的输入仅仅与卷积核大小的局部区域有关，减少了参数量
• 权值共享
  所谓权值共享，就是一个卷积核在整体个图像（或者特征图）上进行滑动，共享了这个卷积核
• 层次化表达
  卷积神经网络可以通过堆叠多层，不同层学习到不同参数的卷积核，不同层提取的特征具有不同的属性，越底层的卷积核，提取了更细节的特征，如边缘，纹理，更高层的特征更具有语义信息

那么图卷积神经网络，是怎么样来保证这3大特征，就是图卷积神经网络演进过程中需要解决的问题。

5. 从卷积神经网络到图卷积神经网络

5.1 谱域卷积神经网络：Spectral CNN

论文：Spectral Networks and Deep Locally Connected Networks on Graphs

spectral convolutional neural network，在2014年由LeCun组提出的第一代模型。核心思想是用可学习的对角矩阵$F$来代替谱域的卷积核$g_{\theta }$，模仿CNN的特性，通过叠加多层，加入非线性激活函数，以及在每一层都定义了图卷积核，用于构成一个图卷积神经网络，由于所有的运算都是在节点的谱域完成，因此叫做Spectral CNN：
$$(x{\ast }_{G}y)=UF{U}^{T}x$$
那么，相邻两层网络之间输入与输出的关系就是：
$$\begin{array}{rl}{x}_j^{k+1}& =h\left(\sum _{i=1}^{f_k}U{F}_{i,j}^k{U}^T{x}_i^k\right)\\ & =h\left(U\sum _{i=1}^{f_k}{F}_{i,j}^k{U}^T{x}_i^k\right),j=1,\cdots ,f_{k+1}\end{array}$$

• $h$ 表示非线性激活函数
• $f_k,f_{k+1}$分别表示在神经网络的第$k$层，输入特征和输出特征的维度，经过一层神经网络后，图中每个节点的embedding向量由$f_k$维 变为$f_{k+1}$维；
• 下一层各节点的embedding向量维度，可以通过多个卷积核$F$来确定，在等式中$g_{\theta }$的作用与 是一致的，只不过这里每层的卷积核个数是由多个组成
• 等式中求和的部分，可以变为等式中第二行的形式进行计算，先对每个通道$x_i^k\in {\mathbb{R}}^n$进行傅里叶变换得到$U^T{x}_i^k$，在频域内利用卷积核$F_{i,j}^k$进行变换，此时对一个通道来说，变换后维度依然是${\mathbb{R}}^n$。之后依次计算$x^k$的所有通道，相加后再进行傅里叶逆变换
  

通过对Spectral CNN的介绍，我们可以知道：

• 计算依赖于拉普拉斯矩阵分解，显式地使用了特征向量矩阵 ，而这个分解和矩阵相乘计算时间非常耗时
• 由于是基于拉普拉斯矩阵分解，导致卷积核不是局部化的，可以理解为一个节点的信息聚合不是来自于其邻居，而是所有节点

5.2 切比雪夫网络：ChebyNet

为了解决Spectral CNN显式地利用了拉普拉斯矩阵特征分解，导致卷积核非局部化的问题，2016年NeuralIPS上发表的ChebyNet提出了一种方法来应对这个局面，使得谱方法才有了落地的可能性。

核心思想是：应用**切比雪夫多项式(Chebyshev polynomials)**以代替谱域的卷积核，加速特征矩阵的求解。

先了解一下切比雪夫多项式，这里使用了第一类的矩阵形式：
$$\begin{array}{l}{T}_0(L)=I\\ T_1(L)=L\\ T_{n+1}(L)=2x{T}_n(L)-T_{n-1}(L)\end{array}$$
我们知道利用拉普拉斯矩阵特征分解后的特征值向量$\Lambda =\mathrm{diag}\left(\left[{\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_N\right]\right)$来表示卷积核，而ChebyNet的就是希望通过多项式近似来参数化这个卷积核，下面来看看它是怎么做的，新定义的卷积核为：
$$g_{\theta }=\sum _{k=0}^{K-1}{\theta }_k{T}_k(\tilde{\Lambda }),\text{ where }\tilde{\Lambda }=\frac{2\Lambda }{{\lambda }_{\max }}-I_N$$
其中，$\theta \in {\mathbb{R}}^K$是$K$个要学习的模型参数，$\tilde{\Lambda }$的作用是让特征向量矩阵归一化到[−1,1]之间。但是，仅仅在这里看的话，新的卷积核是原来拉普斯矩阵的特征值的多项式组合，这还是需要使用拉普斯矩阵的特征值，说明还得进行特征分解，所以要达到消除拉普拉斯矩阵特征分解步骤的目的，要怎么做呢？

为了简便计算，我们把卷积核近似写成以下的形式：
$$g_{\theta }(\Lambda )=\sum _{k=0}^{K-1}{\theta }_k{\Lambda }^k$$
我们将上述卷积核带入到卷积定理中去，全过程是：
$$\begin{array}{rl}x\ast \mathcal{G}y& =U\left(\left(U^{T}x\right)\odot \left(U^{T}y\right)\right)\\ & =U{g}_{\theta }{U}^{T}x\\ & =U\left(\sum _{k=0}^{K-1}{\theta }_k{\Lambda }^k\right)U^{T}x\\ & =\left({\theta }_{0}I+{\theta }_{1}L+{\theta }_2{L}^2+\cdots +{\theta }_{k-1}{L}^{k-1}\right)x\end{array}$$
可以看到，上述等式特征值矩阵消失了，只有一组$\theta$参数和$L$

可能最后一步的推导不容易想明白，下面详细说一下：
拉普拉斯矩阵的特征向量$U$满足正交性，所以对于$L^2$有：
$$\begin{array}{rl}{L}^2& =\left(U\Lambda U^T\right)\left(U\Lambda U^T\right)\\ & =U\Lambda \left(U^{T}U\right)\Lambda U^T\\ & =U{\Lambda }^2{U}^T\end{array}$$
推广可得：
$$L^K=U{\Lambda }^{K-1}{U}^T$$
就可以对倒数第二步进行展开了：
$$\begin{array}{rl}U\left(\sum _{k=0}^{K-1}{\theta }_k{\Lambda }^k\right)U^{T}x& =U\left({\theta }_0+{\theta }_1\Lambda +{\theta }_2{\Lambda }^2+\cdots +{\theta }_{K-1}{\Lambda }^{K-1}\right)U^{T}x\\ & =\left({\theta }_{0}U{U}^T+{\theta }_{1}U\Lambda U^T+{\theta }_{2}U{\Lambda }^2{U}^T+\cdots +{\theta }_{K-1}U{\Lambda }^{K-1}{U}^T\right)x\\ & =\left({\theta }_{0}I+{\theta }_{1}L+{\theta }_2{L}^2+\cdots +{\theta }_{K-1}{L}^{K-1}\right)x\end{array}$$
证毕。

最后，如果写成ChebyNet的一个通道的网络结构形式：
$$\begin{array}{rl}y& =\sigma (U\left(\sum _{k=0}^{K-1}{\theta }_k{\Lambda }^k\right)U^{T}x\\ & =\sigma \left(\left({\theta }_{0}I+{\theta }_{1}L+{\theta }_2{L}^2+\cdots +{\theta }_{K-1}{L}^{K-1}\right)x\right)\end{array}$$

5.3 图卷积神经网络：GCN

论文：SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS

graph convolutional neural network，是在ChebyNet基础上，2017年由Kipf提出的，为ChebNet的进一步简化。

核心思想是：对参数的个数进行了限制，每个卷积核仅有一个参数，值考虑1阶切比雪夫多项式。（忽略了input channel和output channel）
$$\begin{array}{rl}x\ast \mathcal{G}y& =U\left(\sum _{k=0}^{K-1}{\theta }_k{T}_k(\tilde{\Lambda })\right)U^{T}x\\ & =\sum _{k=0}^{K-1}{\theta }_k{T}_k(\tilde{L})x\\ & ={\theta }_0{T}_0(\tilde{L})x+{\theta }_1{T}_1(\tilde{L})x\\ & ={\theta }_{0}x+{\theta }_1\tilde{L}x（切比雪夫多项式带入）\end{array}$$
对于$\tilde{L}=\frac{2}{{\lambda }_{\max }}L-I_N$，令${\lambda }_{\max }=2$；同时利用归一化的拉普拉斯矩阵来代替原始矩阵$L$
$$\begin{array}{rl}x\ast \mathcal{G}y& ={\theta }_{0}x+{\theta }_1\left(L-I_N\right)x\\ & ={\theta }_{0}x+{\theta }_1\left(I_N-D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}-I_N\right)x\\ & ={\theta }_{0}x-{\theta }_1{D}^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}x\end{array}$$
在这里，因为Kipf提出的这个网络是作用在图数据上的半监督节点分类任务上，有标注的数据较少，减少参数可以防止过拟合。所以为了进一步减少模型参数，令${\theta }_0=-{\theta }_1=\theta$：
$$x\ast \mathcal{G}y=\theta \left(I_N+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}\right)x$$
此时，再进行renormalization trick这一操作，$I_N+D^{-1/2}A{D}^{-1/2}⟶{\tilde{D}}^{-1/2}\tilde{A}{\tilde{D}}^{-1/2}$，得到：
$$x\ast \mathcal{G}y=\theta \left({\tilde{D}}^{-1/2}\tilde{A}{\tilde{D}}^{-1/2}\right)x$$
此时的$\theta$仅仅变成了一个缩放因子，但是在神经网络中，这个看起来没有必要，可以在其他参数上体现，因此又可以进一步精简, 先去除$\theta$。我们把缩放因子，拉普拉斯矩阵归一化等等带来的其他参数变化，全部让网络去学习，体现在$W$上：
$$y=\sigma \left({\hat{D}}^{-\frac{1}{2}}\hat{A}{\hat{D}}^{-\frac{1}{2}}xW\right)$$
最终，我们将上述等式改写成论文中的形式,表示神经网络中输入与输出的情况：
$$H^{(l+1)}=\sigma \left({\hat{D}}^{-\frac{1}{2}}\hat{A}{\hat{D}}^{-\frac{1}{2}}{H}^{(l)}{W}^{(l)}\right)$$

• $H^{(l)}$是当前层的输入，$H^{(l+1)}$是输出, $W^{(l)}$是模型参数，可以是MLP网络
• 模型先对输入特征进行变换$H^{(l)}{W}^{(l)}$，然后通过${\hat{D}}^{-\frac{1}{2}}\hat{A}{\hat{D}}^{-\frac{1}{2}}$完成邻居信息的加权聚合
• 最后节点的输出通过一个非线性激活函数，完成节点的隐含向量的更新

这里的$H^{(l)},H^{(l+1)}$对应原论文里的$X,Z$

---

2. 图傅里叶变换 - 知乎

3. GNN入门之路: 02.谱域方法：Spectral CNN，ChebyNet，GCN

4. 图卷积神经网络课程笔记（一）——谱域图卷积（Spectral）背景知识及经典模型

5. GCN过程推导