图卷积神经网络(Graph Convolutional Network, GCN)

从谱聚类说起

谱聚类(spectral clustering)是一种针对图结构的聚类方法，它跟其他聚类算法的区别在于，他将每个点都看作是一个图结构上的点，所以，判断两个点是否属于同一类的依据就是，两个点在图结构上是否有边相连，可以是直接相连也可以是间接相连。举个例子，一个紧凑的子图（如完全图）一定比一个松散的子图更容易聚成一类。

那谱聚类为什么叫谱而不是图聚类呢？这个spectral是什么东西？我们知道一个图是可以用一个邻接矩阵A来表示的。而矩阵的谱（spectral）就是指矩阵的特征值，那么这个特征值跟图的矩阵到底有什么深刻的联系呢？
那么首先，图的聚类是什么？我们可以将聚类问题简化为一个分割问题，如果图的结点被分割成A,B这两个集合，那么我们自然是希望在集合中的结点的相互连接更加紧密比如团，而使得子图之间更加尽可能松散。
为了建立这个联系，我们构造一个laplace matrix：

$$L=D-A$$

D是一个对角矩阵，每个对角元素$D_{ii}$表示第i个结点的度。A则是这个图邻接矩阵。为什么要这样去构造一个矩阵呢？因为研究图的一些性质的时候，我们常常用到一个类似于下式的目标函数：

x T M x = ∑ { u , v } ∈ E ( x u − x v ) 2 \mathbf{x^{T}} M\mathbf{x} =\sum _{\{u,v\} \in E}( x_{u} -x_{v})^{2} xTMx={u,v}∈E∑​(xu​−xv​)2

这个目标函数可以定义图上的很多问题，比如最小图分割问题，就是要找到一个方法将图分成两块的使得切割的边最少（如果边有权重那就是切割的权重最小）。如下图，你不能找到一个比切两条边更少的分割方法了。

而这个优化问题其实等价于当 x ∈ { 0 , 1 } V \displaystyle x\in \{0,1\}^{V} x∈{0,1}V的时候:

min ⁡ ∑ { u , v } ∈ E ( x u − x v ) 2 = ∑ u ∈ A , v ∉ A ‾ ( 1 − 0 ) 2 + ∑ u ∈ A , v ∉ A ‾ ( 0 − 1 ) 2 = 2 c u t ( A , A ‾ ) \min\sum _{\{u,v\} \in E}( x_{u} -x_{v})^{2} =\sum _{u\in A,v\not{\in }\overline{A}}( 1-0)^{2} +\sum _{u\in A,v\not{\in }\overline{A}}( 0-1)^{2} =2cut\left( A,\overline{A}\right) min{u,v}∈E∑​(xu​−xv​)2=u∈A,v​∈A∑​(1−0)2+u∈A,v​∈A∑​(0−1)2=2cut(A,A)

而这个方程不正是一个二次型吗。为了让二次型得到这个结果。我们发现，当$M=dI-A=D-A$的时候就可以了。验证一下：

x T ( d I − A ) x = d x T x − x T A x = ∑ v d x v 2 − 2 ∑ { u , v } ∈ E x u x v = ∑ { u , v } ∈ E ( x u − x v ) 2 \mathbf{x}^{T}( dI-A)\mathbf{x} =d\mathbf{x}^{T}\mathbf{x} -\mathbf{x}^{T} A\mathbf{x} =\sum _{v} dx^{2}_{v} -2\sum _{\{u,v\} \in E} x_{u} x_{v} =\sum _{\{u,v\} \in E}( x_{u} -x_{v})^{2} xT(dI−A)x=dxTx−xTAx=v∑​dxv2​−2{u,v}∈E∑​xu​xv​={u,v}∈E∑​(xu​−xv​)2

此外，当A不是邻接矩阵而是权重矩阵W的时候，于是d就从度推广到权重的求和，那么这个公式还可以推广为：

$$x^{T}Lx{=\mathbf{x}}^T(dI-W)\mathbf{x}=\sum _{i,j}{\omega }_{ij}(x_u-x_v{)}^2$$

RatioCut 切图聚类

现在，我们可以尝试将这个目标函数与Ratio切图聚类的目标函数建立起联系，建立联系有什么好处呢？好处就是如果我们发现切图的目标函数是这个二次型，那么我们只要优化这个二次型，不就可以用连续的方法来解决一个离散的问题吗？
RatioCut考虑最小化$cut(A_1,A_2,...,A_k)$，同时最大化每个子图的个数即：

$$RatioCut(A_1,A_2,...A_k)=\frac{1}{2}\sum _{i=1}^k\frac{cut(A_i,{\overline{A}}_i)}{|A_i|}$$

其中$cut(A_i,{\overline{A}}_i)$表示两个子图之间的距离(两个子图结点之间距离的求和)：

$$cut(A_i,{\overline{A}}_i)=\sum _{i\in A,j\in {\overline{A}}_i}{w}_{ij}$$

这里公式里的是A与A的补集的切图权重（切的边权重的求和），也就是说我们希望子图A与其余的图分离的代价最小，比如我只要切掉一条微不足道的边就能将两个复杂的图（比如两个团）分离开，那么就可以认为这是一个好的切割。

现在我们仿照上面的x，将其推广到多个簇，于是我们用一个指示函数（one-hot）来表达每个结点属于哪个子图，这样就将切割问题跟二次型建立起了联系

我们引入指示向量 h j ∈ { h 1 , h 2 , . . h k }   j = 1 , 2 , . . . k h_{j} \in \{h_{1} ,h_{2} ,..h_{k} \}\ j=1,2,...k hj​∈{h1​,h2​,..hk​} j=1,2,...k，表示有k个子图，对于任意一个向量$h_j$, 它是一个|V|-维向量（|V|为结点数，用来标记哪个结点属于哪个子图，类似于one-hot），我们定义$h_{ij}$为：
$$h_{ij}=\{\begin{array}{ll}0& v_j\notin A_i\\ \frac{1}{\sqrt{|A_i|}}& v_j\in A_i\end{array}$$

那么，对于每一个子图都有：
$$\begin{array}{rl}{h}_i^{T}L{h}_i& =\frac{1}{2}\sum _{m=1}^{|V|}\sum _{n=1}^{|V|}{w}_{mn}(h_{im}-h_{in}{)}^2\\ & =\frac{1}{2}(\sum _{m\in A_i,n\notin A_i}{w}_{mn}(\frac{1}{\sqrt{|A_i|}}-0{)}^2+\sum _{m\notin A_i,n\in A_i}{w}_{mn}(0-\frac{1}{\sqrt{|A_i|}}{)}^2\\ & =\frac{1}{2}(\sum _{m\in A_i,n\notin A_i}{w}_{mn}\frac{1}{|A_i|}+\sum _{m\notin A_i,n\in A_i}{w}_{mn}\frac{1}{|A_i|}\\ & =\frac{1}{2}(cut(A_i,{\overline{A}}_i)\frac{1}{|A_i|}+cut({\overline{A}}_i,A_i)\frac{1}{|A_i|})\\ & =\frac{cut(A_i,{\overline{A}}_i)}{|A_i|}\end{array}$$

其原理在于，因为当$m\in A_i,n\notin A_i$时，因为结点$v_m$属于子图i，结点$v_n$不属于子图i，于是$h_{im}-h_{in}=\frac{1}{\sqrt{|A_i|}}-0$，同理，当$v_m$,$v_n$都属于子图的时候$h_{im}-h_{in}=\frac{1}{\sqrt{|A_i|}}-\frac{1}{\sqrt{|A_i|}}=0$。

上述是第i个子图的式子，我们将k个子图的h合并成一个H，于是式子变成：

$$\begin{gathered} RatioCut(A_1,A_2,...A_k)=\sum _{i=1}^k{h}_i^{T}L{h}_i=\sum _{i=1}^k(H^{T}LH{)}_{ii}=tr(H^{T}LH) \\ s.t.h_i^T{h}_i=1,i=1,2,...,k \end{gathered}$$

也就是说Ratiocut本质上就是在最小化$tr(H^{T}LH)$这个东西。那么怎么优化呢？注意到每个$h_i$都是相互正交的，因为一个结点不能同时属于多个类别，因此H是一个正交矩阵，又因为L是一个对称矩阵，那么可以证明，H是L的特征向量的时候，恰好是这个优化问题的解，我们需要要找到那么特征值比较小的特征向量，就可以找到一种代价最小的切割方法。我们可以来证明一下,特征向量恰好是他的极值：

$$\begin{array}{rl}{\nabla }_h\left(h^{T}Lh-\lambda \left(1-h^{T}h\right)\right)& ={\nabla }_{h}tr\left(h^{T}Lh-\lambda \left(1-h^{T}h\right)\right)\\ & ={\nabla }_{h}tr\left(h^{T}Lh\right)-\lambda {\nabla }_{h}tr\left(h{h}^T\right)\\ & ={\nabla }_{h}tr(h{h}^{T}L)-\lambda {\nabla }_{h}tr(hE{h}^{T}E)\\ & ={\nabla }_{h}tr(hE{h}^{T}L)-\lambda {\nabla }_{h}tr(hE{h}^{T}E)\\ & =Lh+L^{T}h-\lambda (h+h)\\ & =2Lh-2\lambda h\\ & =0\\ & ⟹Lu=\lambda h\end{array}$$

这里用到了一些最优化求导常用公式技巧，其实这个推导跟PCA是一样的，只不过PCA找的是最大特征值（PCA中L是协方差矩阵，目标是找到一个向量最大化方差），这里是找最小特征值，我们目标是找到一个向量最小化这个二次型矩阵。(PS: 想知道为什么是找特征值最小，而PCA找的是特征值最大的同学，不妨看看我的另外一篇文章：谱图理论(spectral graph theory))
最后，通过找到L的最小的k个特征值，可以得到对应的k个特征向量，这k个特征向量组成一个nxk维度的矩阵，即为我们的H。一般需要对H矩阵按行做标准化，即

$$h_{ij}^{\ast }=\frac{h_{ij}}{(\sum _{t=1}^k{h}_{it}^2{)}^{1/2}}$$

由于我们在使用维度规约的时候损失了少量信息，导致得到的优化后的指示向量h对应的H不能完全指示各样本的归属（因为是连续的优化，不可能恰到得到一个one-hot向量），因此一般在得到nxk维度的矩阵H后还需要对每一行进行一次传统的聚类，比如使用K-Means聚类，从而得到一个真正的one-hot指示向量。

所以谱聚类的流程可以总结如下：

1. 计算标准化后的lapace矩阵
2. 求解标准化lapace矩阵的特征值与特征向量
3. 取最小的k1个特征向量,及其对应的特征向量f
4. 将f排列成一个n*k1的矩阵，对矩阵的每一行进行标准化，然后使用k means聚类，聚类数为k2
5. 得到k2个簇，就是对应k2个划分。

GCN

图卷积神经网络，顾名思义就是在图上使用卷积运算，然而图上的卷积运算是什么东西？为了解决这个问题题，我们可以利用图上的傅里叶变换，再使用卷积定理，这样就可以通过两个傅里叶变换的乘积来表示这个卷积的操作。那么为了介绍图上的傅里叶变换，我接来下从最原始的傅里叶级数开始讲起。

从傅里叶级数到傅里叶变换

此部分主要参考了马同学的两篇文章：

1. 从傅立叶级数到傅立叶变换
2. 如何理解傅立叶级数公式？

傅里叶级数的直观意义

如下图，傅里叶级数其实就是用一组sin，cos的函数来逼近一个周期函数，那么每个sin，cos函数就是一组基，这组基上的系数就是频域，你会发现随着频域越来越多（基越来越多），函数的拟合就越准确。

傅里叶变换推导

要讲傅里叶变换的推导，我们要先从傅里叶级数讲起，考虑一周期等于T，现定义于区间[-T/2,T/2]的周期函数f(x)，傅里叶级数近似的表达式如下:

$$f(x)=C+\sum _{n=1}^{\infty }\left(a_{n}cos(\frac{2\pi n}{T}x)+b_{n}sin(\frac{2\pi n}{T}x)\right),C\in \mathbb{R}$$

利用偶函数*奇函数=奇函数的性质可以计算出$a_k$与$b_k$

$$\begin{gathered} a_n=\frac{{\int }_{-T/2}^{T/2}f(x)cos(\frac{2\pi n}{T}x)dx}{{\int }_{-T/2}^{T/2}co{s}^2(\frac{2\pi n}{T}x)dx}=\frac{2}{T}{\int }_{-T/2}^{T/2}f(x)cos(\frac{2\pi n}{T}x)dx \\ {b}_n=\frac{{\int }_{-T/2}^{T/2}f(x)sin(\frac{2\pi n}{T}x)dx}{{\int }_{-T/2}^{T/2}si{n}^2(\frac{2\pi n}{T}x)dx}=\frac{2}{T}{\int }_{-T/2}^{T/2}f(x)sin(\frac{2\pi n}{T}x)dx \end{gathered}$$

利用欧拉公式$e^{ix}=\cos x+i\sin$x，我们发现$\cos x,\sin x$ 可表示成

$$\cos x=\frac{e^{ix}+e^{-ix}}{2},\sin x=\frac{e^{ix}-e^{-ix}}{2i}，$$

再将傅立叶级数f(x)中$\cos (\frac{2\pi n}{T}x)$和$\sin (\frac{2\pi n}{T}x)$的线性组合式改写如下：

$$\begin{array}{rl}{a}_n\cos (\frac{2\pi n}{T}x)+b_n\sin (\frac{2\pi n}{T}x)& =a_n\left(\frac{e^{i\frac{2\pi n}{T}x}+e^{-i\frac{2\pi n}{T}x}}{2}\right)+b_k\left(\frac{e^{i\frac{2\pi n}{T}x}-e^{-i\frac{2\pi n}{T}x}}{2i}\right)\\ & =\left(\frac{a_n-i{b}_n}{2}\right)e^{i\frac{2\pi n}{T}x}+\left(\frac{a_n+i{b}_n}{2}\right)e^{-i\frac{2\pi n}{T}x}\\ & =c_n{e}^{i\frac{2\pi n}{T}x}+c_{-n}{e}^{-i\frac{2\pi n}{T}x}\end{array}$$

可以验证$c_{-n}=\frac{a_{-n}-i{b}_{-n}}{2}=\frac{a_n+i{b}_n}{2}$，这是因为an是一个偶函数，bn是一个奇函数。此外，若n=0，就有$c_0=a_0/2$。将以上结果代回f(x)的傅立叶级数即得指数傅立叶级数：

$$f(x)=\sum _{n=-\infty }^{\infty }\underset{基的坐标}{\underbrace{c_n}}\cdot \underset{正交基}{\underbrace{e^{i\frac{2\pi nx}{T}}}}$$

现在我们知道$c_n=\frac{a_n-i{b}_n}{2}$，将$a_n,b_n$的结果代进去可以得到：
$$c_n=\frac{1}{T}{\int }_{-T/2}^{T/2}f(x)(\cos (\frac{2\pi n}{T}x)-i\sin (\frac{2\pi n}{T}x))dx=\frac{1}{T}{\int }_{-T/2}^{T/2}f(x)e^{-i\frac{2\pi n}{T}}xdx$$

公式用频率替换：$\Delta \omega =\frac{2\pi }{T}$，再令${\omega }_n=\omega n$现在我们可以写出全新的傅里叶级数：

$$f(x)=\sum _{n=-\infty }^{\infty }\frac{\Delta \omega }{2\pi }{\int }_{-T/2}^{T/2}f(x)e^{-i{\omega }_{n}x}dx\cdot e^{i{\omega }_{n}x}$$

现在令$T\to \infty ，\Delta \omega \to 0$，并设$F(\omega )=\underset{T\to \infty }{\lim }{\int }_{-T/2}^{T/2}f(x)e^{-i\omega x}dx$
$$\begin{array}{rl}f(x)& =\sum _{n=-\infty }^{\infty }\frac{\Delta \omega }{2\pi }F({\omega }_n)\cdot e^{i{\omega }_{n}x}\\ & =\frac{1}{2\pi }\sum _{n=-\infty }^{\infty }F({\omega }_n)\cdot e^{i{\omega }_{n}x}\Delta \omega \\ & =\frac{1}{2\pi }{\int }_{-\infty }^{+\infty }F(\omega )\cdot e^{i\omega x}d\omega \end{array}$$

于是得到了傅里叶变换就是

$$F(\omega )={\int }_{-\infty }^{+\infty }f(x)e^{-i\omega x}dx$$

Signal Processing on Graph

在将图的傅里叶变换之前，我们先介绍一下图信号是什么。我们在传统概率图中，考虑每个图上的结点都是一个feature，对应数据的每一列，但是图信号不一样，这里每个结点不是随机变量，相反它是一个object。也就是说，他描绘概率图下每个样本之间的图联系，可以理解为刻画了不满足iid假设的一般情形。

图上的傅里叶变换

那么我们要怎么将传统的傅里叶变换推广到图结构中去？回忆一下，传统对f作傅里叶变换的方法：

$$\hat{f}(\xi ):=⟨f,e^{2\pi i\xi t}⟩={\int }_{\mathbb{R}}f(t)e^{-2\pi i\xi t}dt$$

我们换了种写法，其实我们发现这个傅里叶变换本质上是一个内积。这个$e^{-2\pi i\xi t}$其实是lapace算子的一个特征函数，可以理解为一种特殊形式的特征向量：

$$-\Delta \left(e^{2\pi i\xi t}\right)=-\frac{{\partial }^2}{\partial t^2}{e}^{2\pi i\xi t}=(2\pi \xi {)}^2{e}^{2\pi i\xi t}$$

注意，这里导数本质上是一个线性变换，因为它满足线性算子的两个性质，T(x+y)=T(x)+T(y), cT(x)=T(cx)。可以看到$e^{2\pi i\xi t}$是laplace算子的特征向量，而$(2\pi \xi {)}^2$则是lapace算子的特征值。那么在图上我们的laplace矩阵就是离散化的lapace算子，而这个算子在图上的基显然就是特征向量了！

关于拉普拉斯算子的直观理解推荐看这篇文章：https://www.zhihu.com/question/54504471/answer/630639025

因此，只要意识到传统的傅里叶变换本质上求的是与正交基的内积（比如基$e^{2\pi i\xi t}$）上的系数，而推广到图上的正交基很显然就是laplace矩阵的特征向量，于是对于laplace矩阵的傅里叶变换就可以表达为:

$$\hat{f}({\lambda }_l):=<\mathbf{f},{\mathbf{u}}_l>=\sum _{i=1}^{N}f(i)u_l^{\ast }(i)$$

f是Graph上的N维向量，$f(i)$与Graph的顶点一一对应， $u_l(i)$表示第$l$个特征向量的第$i$个分量。那么特征值（频率）${\lambda }_l$下的，f的Graph 傅里叶变换就是与$lambda_l$对应的特征向量 $u_l$进行内积运算。
这个变换就是在求解特征向量的系数，类似于基的系数“频域”。为什么呢？首先f是图上的某个向量，于是我们可以用正交基将其展开：
$$f={\lambda }_1{u}_1+\cdots +{\lambda }_l{u}_l+\cdots +{\lambda }_N{u}_N$$

那么f跟$u_l$ 的内积就是：
$$<\mathbf{f},{\mathbf{u}}_l>={\lambda }_l$$

因为$u_l$跟其他特征向量都正交，所以内积为0，而跟自己的内积则等于1，所以结果就等于${\lambda }_l$.

因此，可以理解为图上的经过傅里叶变换后的函数$\hat{f}$就是一个计算计算特征向量的系数的函数。

更一般的，图上的傅里叶变换可以写成以下内积的形式，其中U是laplace矩阵的特征向量矩阵：
傅里叶变换：

$$\hat{x}=U^{T}x$$

傅里叶逆变换：

$$x=U\hat{x}$$

因此，我们就可以定义图上的卷积，因为它就是简单的两个变换的乘积然后再逆变换而已：
比如，x,y的卷积，就是他们傅里叶变换频域对应相乘，再通过傅里叶逆变换求回去

$$y\ast x=U\left(\left(U^{T}y\right)\odot \left(U^{T}x\right)\right)$$
又因为

$$\left(\begin{array}{c}{x}_1\\ ⋮\\ x_n\end{array}\right)\odot \left(\begin{array}{c}{y}_1\\ ⋮\\ y_n\end{array}\right)=\left(\begin{array}{ccc}{x}_1& \cdots & 0\\ ⋮& \ddots & ⋮\\ 0& \cdots & x_n\end{array}\right)\left(\begin{array}{c}{y}_1\\ ⋮\\ y_n\end{array}\right)$$
因此我们将 $U^{T}y$ 参数并化为一个对角矩阵，设$g_{\theta }=\mathrm{diag}(\theta )$，从而可以训练一个卷积核：

$$g_{\theta }\star x=U{g}_{\theta }{U}^{\top }x$$

然而计算U的代价太高了，因此要想办法去近似它，有人提出，

$$g_{{\theta }^{\prime }}(\Lambda )\approx \sum _{k=0}^K{\theta }_k^{\prime }{T}_k(\tilde{\Lambda })$$
其中$\tilde{\Lambda }=\frac{2}{{\lambda }_{\max }}\Lambda -I_N$，现在假设${\lambda }_{\max }\approx 2$,并且k=1，于是

$$g_{{\theta }^{\prime }}\star x\approx {\theta }_0^{\prime }x+{\theta }_1^{\prime }(L-I_N)x={\theta }_0^{\prime }x-{\theta }_1^{\prime }{D}^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}x$$

最后再假设这两个参数是共享的，可以得到：

$$g_{\theta }\star x\approx \theta \left(I_N+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}\right)x$$

最后，再将中间的项用一个trick变成：$I_N+D^{-\frac{1}{2}}A{D}^{-\frac{1}{2}}\to {\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}$，其中$\tilde{A}=A+I_N$,${\tilde{D}}_{ii}=\sum _j{\tilde{A}}_{ij}$，最后的最后，终于得到了这样的近似卷积公式：

$$Z={\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}X\Theta$$

这样我们就可以直接用神经网络训练了：

$$H^{(l+1)}=\sigma \left({\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}{H}^{(l)}{W}^{(l)}\right)$$

参考资料

https://towardsdatascience.com/spectral-clustering-82d3cff3d3b7
https://www.cnblogs.com/pinard/p/6221564.html
https://tkipf.github.io/graph-convolutional-networks/
https://ccjou.wordpress.com/2012/04/03/%E5%82%85%E7%AB%8B%E8%91%89%E7%B4%9A%E6%95%B8-%E4%B8%8B/
https://www.matongxue.com/madocs/712/
https://www.youtube.com/watch?v=Q99ZPGnUBAQ