图神经网络基础

图神经网络基础

最近在学习GCN，看到很多公式都不太懂，和以前看CNN完全不一样，在这里整理一下一些看到的公式和推导，希望能够帮助理解。

首先，为什么要用GCN呢，因为在面对非欧式空间的数据处理时，发现CNN并不能保证平移不变性，因此图网络结构一直被提出用来处理非欧式空间数据；另一方面，CNN的局限性很严重，比如

（1）take all pixels into consideration regardless of importance，CNN处理所有的像素点都相同，没有考虑到不同感兴趣的贡献度，相关的研究方向为attention；

（2）long-range dependency，这也是目前Transformer比较火热的原因，可以学习到None-local的信息。

（3）could not take care of relationship between pixels，CNN只能通过叠加特征图和调整感受野来增加信息，Transformer和GNN都可以将点之间的关系考虑进去。

好了，到此废话不多说，开始进入到GNN的基础。

GNN主要分为两类研究方向：spatial（空间域）、spectral（频域）。

一、基本图的公式：

$$\begin{gathered} D：入度/出度矩阵 \\ A:邻接矩阵（0-1矩阵） \\ L:拉普拉斯矩阵 \end{gathered}$$

$$\begin{gathered} {L}_{i,j}=D-A=\{\begin{array}{l}{d}_v,\text{ if i = j},\\ -1,if\text{{vi,vj}∈ E and i = j,}\\ 0,others\end{array} \\ {L}_{i,j}(sys)=\{\begin{array}{l}1,\text{ if i = j},\\ -\frac{1}{\sqrt{d_u}\sqrt{d_v}},if\text{{vi,vj}∈ E and i = j,}\\ 0,others\end{array} \end{gathered}$$

Let $T$ denote the denote the diagonal matrix with the $(v,v)$-th entry having value $d_v$.（实际T就是D）
$$\begin{gathered} L_{i,j}(sys)=D^{-\frac{1}{2}}L{D}^{-\frac{1}{2}} \\ {L}_{i,j}(RW)=D^{-1}L \end{gathered}$$
这里强调几个性质：

（1）$L$是半定对称矩阵，特征值均为非负，实数

（2）特征值为0的次数就是联通区域的个数

（3）最小的特征值为0，因为每一行加和都为0

（4）最小不为0的特征值大小就是图的代数连通度

举例子：

A-B-C
$$\begin{gathered} D=\left[\begin{array}{ccc}1& 0& 0\\ 0& 2& 0\\ 0& 0& 1\end{array}\right],A=\left[\begin{array}{ccc}0& 1& 0\\ 1& 0& 1\\ 0& 1& 0\end{array}\right] \\ L=D-A=\left[\begin{array}{ccc}1& -1& 0\\ -1& 2& -1\\ 0& -1& 1\end{array}\right] \end{gathered}$$

$$\begin{gathered} D=diag(1,2,1) \\ {D}^{-\frac{1}{2}}=diag(1,\frac{1}{\sqrt{2}},1) \end{gathered}$$

$$\begin{array}{rl}{L}_{sys}& =D^{-\frac{1}{2}}L{D}^{-\frac{1}{2}}\\ & =diag(1,\frac{1}{\sqrt{2}},1)\cdot \left[\begin{array}{ccc}1& -1& 0\\ -1& 2& -1\\ 0& -1& 1\end{array}\right]\cdot diag(1,\frac{1}{\sqrt{2}},1)\\ & =\left[\begin{array}{ccc}1& -\frac{1}{\sqrt{2}}& 0\\ -\frac{1}{\sqrt{2}}& 1& -\frac{1}{\sqrt{2}}\\ 0& -\frac{1}{\sqrt{2}}& 1\end{array}\right]\end{array}$$

$L$可以变成酉相似矩阵
$$L=U\Lambda U^{-1},\Lambda =diag({\lambda }_i,...{\lambda }_n)$$

二、图谱理论、随机游走、特征值分析

三、拉普拉斯矩阵和拉普拉斯算子

其实很难理解的是，为什么要这么定义拉普拉斯矩阵？

这里就比较复杂了，我们从拉普拉斯算子讲起。

拉普拉斯算子（Laplacian）是由欧几里得空间中的一个函数的梯度的散度给出的微分算子。常用数学表示形式：$△f={▽}^{2}f$。
$$△f=\sum _{i=1}^n\frac{{\mathrm{d}}^2\mathrm{f}}{\mathrm{d}{\mathrm{x}}_{\mathrm{i}}^2}$$
上面这个公式，如果按照图像二维的方式计算，实际上就是拉普拉斯算子。
$$\begin{array}{rl}△f& =\frac{{\mathrm{d}}^2\mathrm{f}}{\mathrm{d}{\mathrm{x}}^2}+\frac{{\mathrm{d}}^2\mathrm{f}}{\mathrm{d}{\mathrm{y}}^2}\\ & =[f(x+1,y)+f(x-1,y)-2f(x,y)]+[f(x,y+1)+f(x,y-1)-2f(x,y)]\\ & =f(x+1,y)+f(x-1,y)+f(x,y+1)+f(x,y-1)-4f(x,y)\end{array}$$
即拉普拉斯算子：
$$\left[\begin{array}{ccc}0& 1& 0\\ 1& -4& 1\\ 0& 1& 0\end{array}\right]$$
拉普拉斯算子得到的是对该点进行微小扰动后可能获得的总增益 （或者说是总变化）

不难理解，就是一个梯度变化

上面举例的是二维，这种扰动可以看作是一个像素点向周围变化时产生的收益。

推广到图理论中，可以得到：
$$△f_i=\sum _{j\in N_i}(f_i-f_j)$$
解释一下这个公式的含义，比如对一个节点 $i$ 进行扰动，周围的点与该点值的数值差的和，可以类比上面的图像二维的变化，其实图拉普拉斯算子就是一个图微分操作，$N_i$表示节点 $i$ 的近邻点。接下来就好办了：
$$\begin{array}{rl}△f_i& =\sum _{j\in N_i}{w}_{i,j}(f_i-f_j)\\ & =\sum _{j\in N}{w}_{i,j}{f}_i-\sum _{j\in N}{w}_{i,j}{f}_j\\ & =d_i{f}_i-W_i{f}_i\end{array}$$

$$\begin{array}{rl}△f& =(△f_1,△f_2,...,△f_N)\\ & =(d_1{f}_1-W_{1}f,d_2{f}_2-W_{2}f,...,d_N{f}_N-W_{N}f)\\ & =diag(d_1,d_2,...,d_f)\cdot (f_1,f_2,...,f_N)-(W_1,W_2,...,W_N)\cdot (f_1,f_2,...,f_N)\\ & =diag(d_i)f-Wf\\ & =(D-W)f\\ & =Lf\end{array}$$

从这里我们看到拉普拉斯矩阵就是一个点扰动矩阵，不难看到，这个矩阵将是一些的计算的根源。

四、图卷积推导

从上面我们可以得出结论，节点 $i$ 的拉普拉斯矩阵为：
$$Lf(i)=\sum _{j\in N_i}{W}_{i,j}(f_i-f_j)$$
其实对于一个不知道的边$W_{i,j}$，我们可以用一种很简单的方式计算，就可以得到一个有效的结果：
$$W_{i,j}=\{\begin{array}{l}exp(-\frac{(dist(i,j{)}^2)}{2{\theta }^2})\\ 0\end{array}$$
废话不多说，我们进入到卷积的讲解，不过在此之前，我们先看一下拉普拉斯谱分解

这里有个东西叫亥姆霍兹方程：
$${▽}^{2}f=-k^{2}f,\text{f为特征函数，−k2为特征值}$$
即，广义上的特征方程。

考虑到：
$${▽}^2{e}^{-iwt}=\frac{\mathrm{d}{\mathrm{e}}^{-\mathrm{i}\mathrm{w}\mathrm{t}}}{\mathrm{d}{\mathrm{t}}^2}=-w^2{e}^{-iwt}$$
可以看到$e^{-iwt}$就是拉普拉斯算子的特征函数，所以说离散傅立叶变换是拉普拉斯谱分析的一个特例

反过来看傅里叶变换：
$$F(w)=F[f(t)]=\int f(t)e^{-iwt}dt$$
这里，$e^{-iwt}$为基函数，这时考虑图的卷积，那对应的基函数就是拉普拉斯矩阵的特征向量
$$L{u}_k={\lambda }_k{u}_k$$
所以，图上的傅里叶变换为：
$$\begin{gathered} F({\lambda }_k)=\widehat{f_k}=\sum _{i=1}^{N}fi{u}_k(i) \\ \hat{f}=(\widehat{f_1},...\widehat{f_N})=\left[\begin{array}{ccc}{u}_1(1)& ...& u_1(n)\\ ...& ...& ...\\ u_n(1)& ...& u_n(n)\end{array}\right]\cdot (f_1,...f_N{)}^T=U^{T}f \end{gathered}$$
其中，$U$为拉普拉斯谱分解的正交矩阵。
$$f=U{U}^{-1}f==U{U}^{T}f=U\hat{f}$$

回到图卷积公式，离散的傅里叶变换公式为：
$$\begin{array}{rl}f\ast h[n]& =\sum _{m=-inf}^{inf}f[n-m]h[m]\\ & =F^{-1}[F(f[n])\cdot F(h[n])]\\ & =F^{-1}[U^{T}f\cdot \hat{h}[n]]\\ & =F^{-1}[diag[{\hat{h}}_1,{\hat{h}}_2,...,{\hat{h}}_n]\cdot U^{T}f]\\ & =U\cdot diag[{\hat{h}}_1,{\hat{h}}_2,...,{\hat{h}}_n]U^{T}f\end{array}$$
这个公式好多人第一眼看着有些快，这里写一下详细步骤：
$$\begin{gathered} \begin{array}{rl}F[f\ast h]& =\left[\begin{array}{c}\hat{f}({\lambda }_1)\\ \hat{f}({\lambda }_2)\\ ...\\ \hat{f}({\lambda }_n)\end{array}\right]\cdot \left[\begin{array}{c}\hat{h}({\lambda }_1)\\ \hat{h}({\lambda }_2)\\ ...\\ \hat{h}({\lambda }_n)\end{array}\right]=\left[\begin{array}{c}\hat{f}({\lambda }_1)\hat{h}({\lambda }_1)\\ \hat{f}({\lambda }_2)\hat{h}({\lambda }_2)\\ ...\\ \hat{f}({\lambda }_n)\hat{h}({\lambda }_n)\end{array}\right]\\ & =\left[\begin{array}{cccc}\hat{h}({\lambda }_1)& & & \\ & \hat{h}({\lambda }_2)& & \\ & & ...& \\ & & & \hat{h}({\lambda }_n)\end{array}\right]\cdot \left[\begin{array}{c}\hat{f}({\lambda }_1)\\ \hat{f}({\lambda }_2)\\ ...\\ \hat{f}({\lambda }_n)\end{array}\right]\\ & =diag(\hat{h}({\lambda }_1),\hat{h}({\lambda }_2),...,\hat{h}({\lambda }_n))\cdot U^{T}f\end{array} \\ \text{and, }F[f]=U^{T}f \end{gathered}$$

$$\begin{array}{rl}\text{so, }f\ast h& =Udiag(h({\lambda }_i))U^{T}f\\ & =U(U^{T}h\circ U^{T}f)\end{array}$$