GNN的理论与发展梳理（总结版）

GNN的理论与发展梳理

​ ​ 2020-11-20

参考：《深入浅出图神经网络：GNN原理解析》。

---

1、拉普拉斯矩阵

拉普拉斯矩阵（Laplacian Matrix）是研究图的结构性质的核心对象，定义为：
$$L=D-A$$
$D$是一个对角阵，是节点的度矩阵，$A$是邻接矩阵，
$$D_{ii}=\sum _j{A}_{ij}$$
因此，拉普拉斯矩阵的元素值为，
$$L_{ij}=\{\begin{array}{ll}deg(v_i),& i=j\\ -1,& e_{ij}\in E\\ 0,& otherwise\end{array}$$
拉普拉斯矩阵的正则化形式，
$$L_{sym}[i,j]=\{\begin{array}{ll}1,& i=j\\ \frac{-1}{\sqrt{deg(v_i)deg(v_j)}},& e_{ij}\in E\\ 0,& otherwise\end{array}$$
拉普拉斯矩阵源于拉普拉斯算子$\Delta$，反应图信号的局部平滑度。

---

2、图傅里叶变换

傅里叶变换将信号从空域（spatial）转化到频域（spetral），给信号处理带来了极大的便利。
由于拉普拉斯矩阵是一个实对称矩阵，因此可以被对角化，
$$\begin{gathered} L=V\Lambda V^T= \\ \left[\begin{array}{ccc}⋮& ⋮& ⋮\\ v_1& \cdots & v_N\\ ⋮& ⋮& ⋮\end{array}\right]\left[\begin{array}{ccc}{\lambda }_1& & \\ & \ddots & \\ & & {\lambda }_N\end{array}\right]\left[\begin{array}{ccc}\cdots & v_1& \cdots \\ \cdots & ⋮& \cdots \\ \cdots & v_N& \cdots \end{array}\right] \end{gathered}$$
其中$L\in R^{N\times N}$，$V\in R^{N\times N}$，$V{V}^T=I$。$V$的每一列表示节点的特征向量，${\lambda }_k$表示第k和特征值。

因此，图傅里叶变换（GFT）为：
$$\begin{gathered} {\tilde{x}}_k=⟨v_k,x⟩ \\ \tilde{x}=V^{T}x \end{gathered}$$
其中${\tilde{x}}_k$为傅里叶系数，所有的傅里叶系数合在一起$\tilde{x}$称为频谱（spectrum）。

逆图傅里叶变换（IGFT）则定义为：
$$x=V\tilde{x}=\sum _{k=1}^N{\tilde{x}}_k{v}_k$$

特征值可以等价为频率，特征值越低，频率越低，节点信号越趋于一致；而傅里叶系数可以等价成对应频率分量上的幅值。频域视角是一个全局视角，反映了图信号大小和拓扑结构，相当于图的一种身份ID。

---

3、图滤波器

使用图滤波器（filter）可以对各频率的强度进行操作。
我们可以定义滤波操作为：
$$\begin{gathered} y=Hx=(V{\Lambda }_h{V}^T)x \\ =V\left[\begin{array}{ccc}h({\lambda }_1)& & \\ & \ddots & \\ & & h({\lambda }_N)\end{array}\right]V^{T}x \end{gathered}$$
其中$H\in R^{N\times N}$为滤波器，$y$为输出的信号，通过控制$h({\lambda }_k)$来控制信号的增强或减弱的。
但是，上述计算过于复杂了，我们可以使用泰勒展开进行逼近。因此滤波器又可以定义为：
$$H=\sum _{k=0}^K{h}_k{L}^k$$
其中，$K$为滤波器的阶数，可以自定义，$L$为拉普拉斯算子，作为图位移算子。

---

4、图卷积操作

图信号的卷积运算定义为，
$$x_1\ast x_2=IGFT(GFT(x_1)⨀GFT(x_2))$$
其中$⨀$表示哈达玛积，就是频域中的矩阵点乘运算。

4.1 对特征值对角矩阵进行参数化

特征值矩阵又称为频率响应矩阵，参照图滤波器，进行参数化，可得到网络，
$$X^{\prime }=\sigma (V\left[\begin{array}{ccc}{\theta }_1& & \\ & \ddots & \\ & & {\theta }_N\end{array}\right]V^{T}X)=\sigma (Vdiag(\theta )V^{T}X)$$
其中$\theta =[{\theta }_1,...,{\theta }_N]$是需要学习的参数，因此存在一个较大的问题：引入的参数过多！！！需要学习的参数数量和节点数量一致，根本就无法应用于大型图数据上。

4.2 对多项式系数进行参数化

很自然地想到了使用多项式进行逼近，前面也有提到过，
$$X^{\prime }=\sigma (V\left[\begin{array}{ccc}{\sum }_{k=1}^K{\theta }_k{\lambda }_1^k& & \\ & \ddots & \\ & & {\sum }_{k=1}^K{\theta }_k{\lambda }_N^k\end{array}\right]V^{T}X)=\sigma (V(\sum _{k=1}^K{\theta }_k{\Lambda }^k)V^{T}X)$$
其中$\theta =[{\theta }_1,...,{\theta }_K]$是需要学习的参数，由于$K$可以自由的定义且$K\ll N$，大大降低了参数的数量。

---

5、GCN

前面的方法都对特征矩阵分解比较依赖，因此有很高的计算复杂度。

先定义重归一化形式的拉普拉斯矩阵，
$${\tilde{L}}_{sym}={\tilde{D}}^{-\frac{1}{2}}\tilde{A}{\tilde{D}}^{-\frac{1}{2}}$$
其中$\tilde{A}=A+I$，${\tilde{D}}_{ii}={\sum }_j{\tilde{A}}_{ij}$，${\tilde{L}}_{sym}\in (-1,1]$。可以看出已经不再需要进行矩阵分解操作了。
为了增加网络的拟合能力，增加了一个参数化的权重矩阵，得到
$$X^{\prime }=\sigma ({\tilde{L}}_{sym}XW)$$
这就是很多论文里面提到的图卷积层（GCN layer），使用这个层进行堆叠的模型成为图卷积网络（GCN）。

图卷积层是对函数拟合上的极大简化，相较于频域（spectral）图卷积中的矩阵分解$O(N^3)$的时间复杂度，空域（spatial）图卷积的时间复杂度可以降至$O(|E|d)$。

5.1 GCN对于图数据的学习

对于结构信息和属性信息的学习体现在：${\tilde{L}}_{sym}XW$。

①$XW$对属性信息进行仿射变换
②${\tilde{L}}_{sym}(XW)$聚合邻居节点，对结构信息进行编码
③进行任务学习

优点：
①对表示学习和任务学习一起进行端到端优化，具有更好的适应性。
②结构信息和属性信息的学习是同时进行的，二者之间有很好的互补关系。

---

6、对GCN的各种典型改进

6.1 GraphSAGE

GraphSAGE是对初始GCN模型的改进版本。
最最主要的贡献是采用了小批量训练方式（mini-batch）。为了适应小批量的方式，模型对聚合操作也进行了改进和拓展。

GraphSAGE完全没有用到$L$或${\tilde{L}}_{sym}$，节点的特征学习仅与其$k$阶邻居有关，可以进行归纳学习（Inductive Learning）。这样，对于新节点的加入来说十分方便，这也是随机游走等方法不具备的优势。

6.2 GAT

图注意力网络（GAT）通过注意力机制（Attention Mechanism）对邻居节点进行聚合操作，实现了对不同邻居权重的自适应分配。

节点$v_i$在第$l$层的特征向量为$h_i\in R^{d^{(l)}}$，经过图注意力层（GAL）进行聚合操作之后，输出新的特征向量$h_i^{\prime }\in R^{d^{(l+1)}}$。定义为，
$$e_{ij}=LeakyReLU(a^T[W{h}_i||W{h}_j])$$
其中$e_{ij}$为权重系数，选择单层全连接层作为相似度函数。
$${\alpha }_{ij}=softma{x}_j(e_{ij})=\frac{exp(e_{ij})}{{\sum }_{v_k\in N(v_i)}exp(e_{ik})}$$
其中${\alpha }_{ij}$为权重系数，进行归一化处理。
$$h_i^{\prime }=\sigma (\sum _{v_j\in N(v_i)}{\alpha }_{ij}W{h}_j)$$
进行加权平均后，$h_i^{\prime }$为节点新的特征向量。

图的注意力机制模型比GCN多了一个新的可学习维度——边上的权重系数。
$$X^{\prime }=(\tilde{A}⨀M)XW$$
其中权重矩阵$M\in R^{N\times N}$，就是将GCN中的${\tilde{L}}_{sym}$换成了$(\tilde{A}⨀M)$，使得图注意力模型有着很高的表达能力。

6.3 R-GCN

之前的模型没有考虑节点之间不止一种关系的异构图，解决方法就是使用R-GCN。

相比于GCN的聚合操作，R-GCN又增加了一个聚合关系的维度，
$$h_i^{(l+1)}=\sigma (\sum _{r\in R}\sum _{v_j\in N_{v_i}^{(r)}}\frac{1}{c_{i,r}}{W}^{(l)}{h}_j^{(l)}+W_o^{(l)}{h}_i^{(l)})$$
其中$W_r$是具有$r$关系的邻居所对应的权重矩阵，$W_o^{(l)}{h}_i^{(l)}$对应着节点的自连接，$\frac{1}{c_{i,r}}$用于归一化。

R-GCN共有2层聚合操作：
（1）第1层先对同种关系进行单独聚合
（2）第2层进行总聚合，还考虑了自连接的关系

---

7、GNN的通用框架

GNN的通用框架主要分为3类：
（1）消息传播神经网络（MPNN）
（2）非局部神经网络（NLNN）
（3）图网络（GN）

7.1 MPNN

MPNN的基本思路是通过消息函数和更新函数进行消息传播，对于节点$v_i$特征向量的更新可以表示为，
$$\begin{gathered} m_i^{(k+1)}=\sum _{v_j\in N(v_i)}{M}^{(k)}(h_i^{(k)},h_j^{(k)},e_{ij}) \\ {h}_i^{(k+1)}=U^{(k)}(h_i^{(k)},m_i^{(k+1)}) \end{gathered}$$
消息传播一般对应于模型中的层。MPNN的核心是消息函数$M$和更新函数$U$，之前的GCN、R-GCN和GraphSAGE都可以看作是MPNN的特例。

7.2 NLNN

NLNN是注意力机制的一般化总结，使用non-local操作对邻居节点进行加权求和，
$$h_i^{\prime }=\frac{1}{c(h)}\sum _{\forall j}f(h_i,h_j)\cdot g(h_j)$$

7.3 GN

GN是比MPNN和NLNN更加一般的总结。

比较复杂，就不过多展开了。

---

8、图的池化操作

与之前的节点分类不同，图分类任务需要学习到整张图的标签和类别。为了解决这类问题，一般使用层次化池化（Pooling）的操作。

8.1 基于全局池化的图分类

全局池化的主要思路是设计一个读出（readout）层，对所有节点进行一次性聚合，从而得到图的全局表示，
y = R e a d o u t ( { h i ( k ) ∣ ∀ v i ∈ V } ) y=Readout(\{h_i^{(k)}|\forall v_i\in V\}) y=Readout({hi(k)​∣∀vi​∈V})
读出机制可以取sum，mean或max等函数。读出机制易于实现，但是丢失了图的结构信息。

8.2 基于层次化池化的图分类

主要有3类方法：
（1）基于图坍缩（Graph Coarsening）的池化机制
（2）基于TopK的池化机制
（3）基于边收缩（Edge Contraction）的池化机制

8.2.1 基于图坍缩的池化机制

主要思路：将图划分成不同的子图，将子图看做超级节点，从而形成一个坍缩的图。

1、图坍缩

定义簇分配矩阵$S$，
$$S_{ij}=\{\begin{array}{ll}1,& v_i\in {\tau }^{(j)}\\ 0,& otherwise\end{array}$$
其中$S\in R^{N\times K}$，$N$为节点数，$K$为子图（簇）个数，${\tau }^{(j)}$为子图$j$中的节点列表。
我们定义，
$$A_{coar}=S^{T}AS$$
其中$A_{coar}$代表了超级节点之间的连接强度（包括自连接），$(S^{T}AS{)}_{ij}$代表了第$i$簇与第$j$簇之间的连接强度。

接下来定义采样算子$C$，
$$C_{ij}^{(k)}=\{\begin{array}{ll}1,& {\tau }_j^{(k)}=v_i\\ 0,& otherwise\end{array}$$
其中${\tau }_j^{(k)}$表示${\tau }^{(k)}$中的第$j$个节点，$C$是一个节点顺序关系的指示矩阵。

然后，就可以定义子图的邻接矩阵$A^{(k)}$，
$$A^{(k)}=(C^{(k)}{)}^{T}A{C}^{(k)}$$
$A_{coar}$和$A^{(k)}$很好的定义了子图间的邻接关系和子图内部的邻接关系。通过不断进行坍缩，我们希望最终整张图成为一个超级节点，这样我们就可以利用其特征向量进行图分类的任务学习了。

2、DiffPOOL

DiffPOOL是首个将图坍缩+GNN的图级任务学习算法。
它提出了一个可学习的簇分配矩阵，使用2个独立的GNN分别对节点特征、节点所属簇的概率分布进行学习。
$$\begin{gathered} Z^{(l)}=GN{N}_{l,embed}(A^{(l)},H^{(l)}) \\ {S}^{(l)}=softmax(GN{N}_{l,pool}(A^{(l)},H^{(l)})) \end{gathered}$$
其中，$Z^{(l)}$为第$l$层学习到的节点特征，$S^{(l)}$为第$l$层学习到的簇的概率分布，它是一种软分配并且不具备稀疏性。

然后，我们定义DiffPOOL层$((A^{(l)},Z^{(l)})\to (A^{(l+1)},H^{(l+1)}))$为，
$$\begin{gathered} H^{(l+1)}=(S^{(l)}{)}^T{Z}^{(l)} \\ {A}^{(l+1)}=(S^{(l)}{)}^{T}A{S}^{(l)} \end{gathered}$$
计算出每一层的特征向量和邻接矩阵。最后，将整张图探坍缩成一个超级节点，送入后面的$MLP$进行任务学习。

3、EigenPooling

EigenPooling在图分类中没有引入任何任何需要学习的参数！核心思想是选取作用域和池化操作。

（1）图坍缩

EigenPooling是通过图分区算法来实现图坍缩的，比如使用$Kmeans$算法。
$$(A,簇数K)\to (节点所属的簇)$$
其划分是一种硬分配，并且具有稀疏性，降低了计算复杂度。

（2）池化操作

DiffPOOL在池化操作这一步仅仅是加和，损失了结构信息。
EigenPooling使用图傅里叶变换来进行池化操作，因此可以定义为，
$$X_l={\Theta }_l^{T}X$$
其中${\Theta }_l=[{\overline{u}}_l^{(1)},...,{\overline{u}}_l^{(k)}]$表示所有子图的第$l$个特征向量按行方向组织起来。${\overline{u}}_l^{(k)}$表示经过上采样的第$l$个特征向量。$X_l\in R^{K\times d}$是对所有子图的第$l$个特征向量池化的结果。
每一个特征向量都计算完成之后，就可以将它们的结果拼接起来，
$$X_{pool}=[X_1,...,X_{N_{max}}]$$

EigenPooling不仅能提高计算效率，并且还能兼顾图的结构和属性信息，显然要比DiffPOOL更加合理。

8.2.2 基于TopK的池化机制

TopK机制主要是一个按照某种规则不断丢弃节点的过程，最终得到全图的一个特征向量，用于后续的任务学习。

我们定义$gpool$层为，
$$\begin{gathered} z=\frac{Xp}{||p||} \\ \vec{i}=top-rank(z,kN) \\ {X}^{\prime }=(X⨀tanh(z){)}_{\vec{i},:} \\ {A}^{\prime }=A_{\vec{i},\vec{i}} \end{gathered}$$
其中，$z$为重要度值（节点分数），用于进行降序排序，计算方法是将节点的特征向量在基向量$p$上进行投影。$top-rank$函数根据$z$值选出重要度前$k$名的节点的下标。然后依据$\vec{i}$对原先的特征矩阵$X$和邻接矩阵$A$进行切片操作，相当于丢弃一些节点。

但是这种层层丢弃节点的方法，会使得模型缺乏对所有节点进行有效融合的手段。为了实现有效融合，在$gpool$层后面再加上一个$readout$层实现一次性聚合。
$$\begin{gathered} s^{(l)}=(\frac{1}{N}\sum _{i=1}^N{x}_i^{(l)})||(ma{x}_{i=1}^N{x}_i^{(l)}) \\ s=\sum _{l=1}^L{s}^{(l)} \end{gathered}$$
其中读出层将平均池化与最大池化拼接起来，最终的全局池化是每一层池化结果的加和。

8.2.3 基于边收缩的池化机制

EdgePool核心思想是迭代式地将每条边上的节点进行两两归并形成一个新的节点，最终得到全图的特征表示。

每次选择边进行节点归并的依据是边的分数，
$$\begin{gathered} r_{ij}=w^T[h_i||h_j]+b \\ {s}_{ij}=softma{x}_j(r_{ij}) \end{gathered}$$
其中$r_{ij}$为每条边的原始分数，$s_{ij}$为原始分数沿着邻居节点归一化后的分数。
然后，选择分数最高的且未被选过的两个节点进行归并。合并之后新节点的特征向量$h_{ij}$为，
h i j = m a x { s i j , s j i } ⋅ ( h i + h j ) h_{ij}=max\{s_{ij},s_{ji}\}\cdot (h_i+h_j) hij​=max{sij​,sji​}⋅(hi​+hj​)
EdgePool利用边收缩的原理，仅将邻居节点进行归并，既保留了图的结构信息，有保证了图中连接的稀疏性。

---

9、基于GNN的图表示学习

9.1 图表示学习的分类

图表示学习（graph embedding）又可以称为网络表示学习（network embedding），或者称为网络嵌入，主要目标是将图数据转化成低维稠密的向量化表示，同时确保图数据中的某些性质在向量空间中也能够得到对应。

图表示学习从方法上来说可以分为3类：
（1）基于分解的方法
（2）基于随机游走的方法
（3）基于深度学习的方法

类别	主要思想	代表模型	优点	缺点
基于分解的方法	对结构信息进行矩阵分解	-	-	具有很高的计算复杂度
基于随机游走的方法	将随机游走所产生的序列看作是句子，节点看作是词，类比词向量Skip-gram等模型的学习方法	DeepWalk、Node2Vec等	将图转化为序列，实现了大规模图的学习	①图本身的结构信息没有充分利用 ②很难融合属性信息进行表示学习
基于深度学习的方法	主要是使用基于GNN的方法进行表示学习	GraphSAGE、GAE、DGI等	①融合结构和属性信息进行表示学习 ②可以将表示学习和任务学习有机结合 ③能够适应大规模图	在模型深度、过平滑问题等方面仍面临挑战

9.2 基于GNN的图表示学习

依据损失函数（Loss Function）的不同，基于GNN的无监督图表示学习方法可分为2类：
（1）基于重构损失的GNN
（2）基于对比损失的GNN

9.2.1 基于重构损失的GNN

主要思想类似于自编码器（AE），将节点之间的邻接关系进行重构学习，并将重构的矩阵与原矩阵进行相似度对比，来更新参数。因此，这类方法也叫作图自编码器（GAE）。
$$\begin{gathered} Z=GNN(A,X) \\ \hat{A}=\sigma (Z{Z}^T) \end{gathered}$$
其中$Z$是所有节点的表示矩阵，$\hat{A}$是重构后的邻接矩阵，重构损失定义如下，
$$Los{s}_{recon}=||\hat{A}-A|{|}^2$$
为了防止过平滑的问题，需要加入一些噪声，迫使模型学习到有用的信息：
（1）将$X$增加随机噪声或置零
（2）将$A$删除适当比例的边或修改边的权重

9.2.2 基于对比损失的GNN

对比损失通常会设置一个评分函数$D(\cdot )$，用来提高正样本的得分、降低负样本的得分。

类比词向量的学习，在图中，节点看作是词，如何定义节点的“上下文”就成为一个值得研究的问题。目前为止共有3中定义方式：
（1）邻居作为上下文
（2）子图作为上下文
（3）全图作为上下文

不论是何种定义方式，我们都可以定义一个通用的损失函数，
$$Los{s}_{v_i}=-log(D(z_{i}c))+log(D(z_i\overline{c}))$$
其中$c$为上下文的表示向量，$\overline{c}$为非上下文的表示向量。

1、邻居作为上下文

通过损失函数建模节点和邻居节点之间的关系，GraphSAGE中就使用了这种思路。主要思想类似于DeepWalk，将随机游走时与中心节点$v_i$一起出现在固定窗口内的节点$v_j$视为邻居。
$$\begin{gathered} Z=GNN(A,X) \\ Los{s}_{v_i}=log(1-\sigma (z_i^T{z}_j))+E_{v_n\sim p_n(v_j)}log(\sigma (z_i^T{z}_{v_n})) \end{gathered}$$
其中$p_n(v_j)$是节点出现概率的负样本分布。由于此方法不需要重构出$\hat{A}$之后再最小化损失，所以省去了$O(n^2)$的空间复杂度。

2、子图作为上下文

邻居作为上下文强调的是节点之间的共现关系，但是有时候距离远的节点的结构未必没有相似之处，如此一来就缺乏对节点结构相似性的捕捉。

Z = G N N ( A , X ) , Z c o n t e x t = G N N c o n t e x t ( A , X ) c i = R e a d o u t ( { Z c o n t e x t [ j ] , ∀ v j 是 v i 的 上 下 文 锚 点 } ) L o s s v i = l o g ( 1 − σ ( z i T c i ) ) + l o g ( σ ( z i T c j ∣ j ≠ i ) ) Z=GNN(A,X),Z_{context}=GNN_{context}(A,X) \\[2ex] c_i=Readout(\{Z_{context}[j],\forall v_j是v_i的上下文锚点\}) \\[2ex] Loss_{v_i}=log(1-\sigma(z_i^Tc_i))+log(\sigma(z_i^Tc_{j|j\ne i})) Z=GNN(A,X),Zcontext​=GNNcontext​(A,X)ci​=Readout({Zcontext​[j],∀vj​是vi​的上下文锚点})Lossvi​​=log(1−σ(ziT​ci​))+log(σ(ziT​cj∣j​=i​))
其中一共用到2个GNN。一个用来在$K$阶子图上提取其特征向量$Z$，另一个提取每个节点作为上下文锚点时的表示向量$Z_{context}$，使用读出机制来聚合上下文锚点的表示向量$c_i$。

3、全图作为上下文

DGI模型实现了节点与全图之间的对比损失的学习机制。

Z = G N N ( A , X ) , Z ‾ = G N N ( A c u r r u p t , X c u r r u p t ) s = R e a d o u t ( { z i , ∀ v i ∈ V } ) L o s s v i = l o g ( 1 − D ( z i , s ) ) + l o g ( D ( z ‾ i , s ) ) Z=GNN(A,X),\overline Z=GNN(A_{currupt},X_{currupt}) \\[2ex] s=Readout(\{z_i,\forall v_i\in V\}) \\[2ex] Loss_{v_i}=log(1-D(z_i,s))+log(D(\overline z_i,s)) Z=GNN(A,X),Z=GNN(Acurrupt​,Xcurrupt​)s=Readout({zi​,∀vi​∈V})Lossvi​​=log(1−D(zi​,s))+log(D(zi​,s))
其中$(A_{currupt},X_{currupt})$为加噪声构造的负采样样本。将正负样本送入同一个GNN中进行学习。使用读出机制得到全图的向量表示$s$。

---

总结

下一步：

《Graph Representation Learning》

https://www.cs.mcgill.ca/~wlh/grl_book/files/GRL_Book.pdf

https://www.cs.mcgill.ca/~wlh/