GNN的理论与发展梳理（总结版）

GNN的理论与发展梳理

​ ​ 2020-11-20

参考：《深入浅出图神经网络：GNN原理解析》。

---

1、拉普拉斯矩阵

拉普拉斯矩阵（Laplacian Matrix）是研究图的结构性质的核心对象，定义为：
$$L=D-A$$
$D$是一个对角阵，是节点的度矩阵，$A$是邻接矩阵，
$$D_{ii}=\sum _j{A}_{ij}$$
因此，拉普拉斯矩阵的元素值为，
$$L_{ij}=\{\begin{array}{ll}deg(v_i),& i=j\\ -1,& e_{ij}\in E\\ 0,& otherwise\end{array}$$
拉普拉斯矩阵的正则化形式，
$$L_{sym}[i,j]=\{\begin{array}{ll}1,& i=j\\ \frac{-1}{\sqrt{deg(v_i)deg(v_j)}},& e_{ij}\in E\\ 0,& otherwise\end{array}$$
拉普拉斯矩阵源于拉普拉斯算子$\Delta$，反应图信号的局部平滑度。

---

2、图傅里叶变换

傅里叶变换将信号从空域（spatial）转化到频域（spetral），给信号处理带来了极大的便利。
由于拉普拉斯矩阵是一个实对称矩阵，因此可以被对角化，
$$\begin{gathered} L=V\Lambda V^T= \\ \left[\begin{array}{ccc}⋮& ⋮& ⋮\\ v_1& \cdots & v_N\\ ⋮& ⋮& ⋮\end{array}\right]\left[\begin{array}{ccc}{\lambda }_1& & \\ & \ddots & \\ & & {\lambda }_N\end{array}\right]\left[\begin{array}{ccc}\cdots & v_1& \cdots \\ \cdots & ⋮& \cdots \\ \cdots & v_N& \cdots \end{array}\right] \end{gathered}$$
其中$L\in R^{N\times N}$，$V\in R^{N\times N}$，$V{V}^T=I$。$V$的每一列表示节点的特征向量，${\lambda }_k$表示第k和特征值。

因此，图傅里叶变换（GFT）为：
$$\begin{gathered} {\tilde{x}}_k=⟨v_k,x⟩ \\ \tilde{x}=V^{T}x \end{gathered}$$
其中${\tilde{x}}_k$为傅里叶系数，所有的傅里叶系数合在一起$\tilde{x}$称为频谱（spectrum）。

逆图傅里叶变换（IGFT）则定义为：
$$x=V\tilde{x}=\sum _{k=1}^N{\tilde{x}}_k{v}_k$$

特征值可以等价为频率，特征值越低，频率越低，节点信号越趋于一致；而傅里叶系数可以等价成对应频率分量上的幅值。频域视角是一个全局视角，反映了图信号大小和拓扑结构，相当于图的一种身份ID。

---

3、图滤波器

使用图滤波器（filter）可以对各频率的强度进行操作。
我们可以定义滤波操作为：
$$\begin{gathered} y=Hx=(V{\Lambda }_h{V}^T)x \\ =V\left[\begin{array}{ccc}h({\lambda }_1)& & \\ & \ddots & \\ & & h({\lambda }_N)\end{array}\right]V^{T}x \end{gathered}$$
其中$H\in R^{N\times N}$为滤波器，$y$为输出的信号，通过控制$h({\lambda }_k)$来控制信号的增强或减弱的。
但是，上述计算过于复杂了，我们可以使用泰勒展开进行逼近。因此滤波器又可以定义为：
$$H=\sum _{k=0}^K{h}_k{L}^k$$
其中，$K$为滤波器的阶数，可以自定义，$L$为拉普拉斯算子，作为图位移算子。

---

4、图卷积操作

图信号的卷积运算定义为，
x 1 ∗ x 2 = I G F T ( G F T ( x 1 ) ⨀ G F T ( x 2 ) ) x_1*x_2=IGFT(GFT(x_1)\bigodot GFT(x_2)) x