图神经网络基础 naive Graph Neural Network

图神经网络

basis

CNN的输入为图像 image
RNN的输入为序列 sequence
GNN的输入为图 Graph

用什么来表示图呢？最容易想到的就是邻接矩阵A，他包含了一个图的所有信息。将图的邻接矩阵输入的一个MLP中可以得到图的embedding
$${\mathbf{z}}_{\mathcal{G}}=\mathbf{M}\mathbf{L}\mathbf{P}(\mathbf{A}[1]\oplus \mathbf{A}[2]\oplus \dots \oplus \mathbf{A}[|\mathcal{V}|])$$
不过这一模型不是permutation invariant，它会受到邻接矩阵中节点的任意顺序影响，了解语音信号处理的朋友应该知道这一定义，即置换不变性。而下面介绍的GNN则是个permutation equivariant模型
$$\begin{array}{rl}f\left({\mathbf{P}\mathbf{A}\mathbf{P}}^{\top }\right)=f(\mathbf{A})& \text{ (Permutation Invariance) }\\ f\left({\mathbf{P}\mathbf{A}\mathbf{P}}^{\top }\right)=\mathbf{P}f(\mathbf{A})& \text{ (Permutation Equivariance), }\end{array}$$

Message Passing

先给出一些符号定义：graph $\mathcal{G}=(\mathcal{V},\mathcal{E})$；node features $\mathbf{X}\in {\mathbb{R}}^{d\times |\mathcal{V}|}$；node embeddings ${\mathbf{z}}_u,\forall u\in \mathcal{V}$。
我们用 ${\mathbf{h}}_u^{(k)}$表示每个节点 $u$ 在GNN第 $k$ 层中对应的hidden embedding，则GNN中的节点信息传播过程可以表示为：
$$\begin{array}{rl}{\mathbf{h}}_u^{(k+1)}& ={\mathrm{UPDATE}}^{(k)}\left({\mathbf{h}}_u^{(k)},{\text{ AGGREGATE }}^{(k)}\left(\left\{{\mathbf{h}}_v^{(k)},\forall v\in \mathcal{N}(u)\right\}\right)\right)\\ & ={\mathrm{UPDATE}}^{(k)}\left({\mathbf{h}}_u^{(k)},{\mathbf{m}}_{\mathcal{N}(u)}^{(k)}\right)\end{array}$$

从上图可以更直观的理解这一过程，整个过程包含UPDATE 和 AGGREGATE 两个部分，对应于信息的更新和信息的汇聚。

${\mathbf{m}}_{\mathcal{N}(u)}$ 表示从邻节点获取到的信息，初始时 ${\mathbf{h}}_u^{(0)}={\mathbf{x}}_u$，经过k轮message passing后得到网络的输出 ${\mathbf{z}}_u={\mathbf{h}}_u^{(K)},\forall u\in \mathcal{V}$

对于node embedding初始化时的node features ${\mathbf{x}}_u,\forall u\in \mathcal{V}$，在通常情况下有很多选择，比如生物网络中的基因表达特征或社会网络中的文本特征。如果没有这些特征，也可以图本身的node statistics（移步另一专栏）

Motivations and Intuitions

为什么这一信息传播机制是有效的？

在每次迭代时，每个节点都从其局部邻域聚合信息，随着这些迭代的进行，每个节点嵌入包含越来越多的来自图的更深处的信息。准确地说，在第一次迭代(k = 1)之后，每个节点嵌入都包含来自其1-hop邻域的信息，即每个节点嵌入都包含其直接图邻居的特征信息，这些特征在图中可以通过一条长度为1的路径到达;第二次迭代后(k = 2)，每个节点嵌入包含来自其2-hop邻域的信息;一般情况下，经过k次迭代后，每个节点嵌入都包含k-hop邻域信息。

这些“信息”是什么？

• structural information about the graph
• feature-based information （类似CNN）

Basic GNN

最基本的GNN模型可以定义为：
$${\mathbf{h}}_u^{(k)}=\sigma \left({\mathbf{W}}_{\mathrm{s}\mathrm{e}\mathrm{l}\mathrm{f}}^{(k)}{\mathbf{h}}_u^{(k-1)}+{\mathbf{W}}_{\text{neigh }}^{(k)}\sum _{v\in \mathcal{N}(u)}{\mathbf{h}}_v^{(k-1)}+{\mathbf{b}}^{(k)}\right)$$
${\mathbf{W}}_{\text{self }}^{(k)},{\mathbf{W}}_{\text{neigh }}^{(k)}\in {\mathbb{R}}^{d^{(k)}\times d^{(k-1)}}$是可学习的参数；${\mathbf{b}}^{(k)}\in {\mathbb{R}}^{d^{(k)}}$是bias，通常也可以忽略，但是可以使模型获取更优的表现，所以其实是必须的，上式也可以写为：
$${\mathbf{m}}_{\mathcal{N}(u)}=\sum _{v\in \mathcal{N}(u)}{\mathbf{h}}_v$$

$$\mathrm{UPDATE}\left({\mathbf{h}}_u,{\mathbf{m}}_{\mathcal{N}(u)}\right)=\sigma \left({\mathbf{W}}_{\text{self }}{\mathbf{h}}_u+{\mathbf{W}}_{\mathrm{neigh}}{\mathbf{m}}_{\mathcal{N}(u)}\right)$$

上面是node-level的模型，graph-level的也非常类似

Self-loops

为了防止过拟合，需要在基础模型上进行改进。加入self-loop可以防止节点特征在不断获取邻节点信息后丢失原有特征。
$${\mathbf{H}}^{(t)}=\sigma \left((\mathbf{A}+\mathbf{I}){\mathbf{H}}^{(t-1)}{\mathbf{W}}^{(t)}\right)$$
${\mathbf{W}}_{\text{self }}$ 和 ${\mathbf{W}}_{\text{neigh }}$可以统一为一个矩阵。

Aggregation

Neighborhood Normalization

当某个节点的邻节点数量不同会导致各个节点敏感度不同，因此需要进行归一化，常用的方式比如取平均：
$${\mathbf{m}}_{\mathcal{N}(u)}=\frac{{\sum }_{v\in \mathcal{N}(u)}{\mathbf{h}}_v}{|\mathcal{N}(u)|}$$
或是symmetric normalization
$${\mathbf{m}}_{\mathcal{N}(u)}=\sum _{v\in \mathcal{N}(u)}\frac{{\mathbf{h}}_v}{\sqrt{|\mathcal{N}(u)||\mathcal{N}(v)|}}$$

Aggregators

aggregation function有很多的选择，比如：
$${\mathbf{m}}_{\mathcal{N}(u)}={\mathrm{MLP}}_{\theta }\left(\sum _{v\in N(u)}{\mathrm{MLP}}_{\varphi }\left({\mathbf{h}}_v\right)\right)$$

$${\mathbf{m}}_{\mathcal{N}(u)}={\mathrm{MLP}}_{\theta }\left(\frac{1}{|\Pi |}\sum _{\pi \in \Pi }{\rho }_{\varphi }{\left({\mathbf{h}}_{v_1},{\mathbf{h}}_{v_2},\dots ,{\mathbf{h}}_{v_{|\mathcal{N}(u)|}}\right)}_{{\pi }_i}\right)$$
其中${\rho }_{\varphi }$可以是处理时序输入的神经网络（如LSTM）

Neighborhood Attention

对聚合过程中每个节点信息赋予不同的权重，得到Graph Attention Network (GAT)：
$${\mathbf{m}}_{\mathcal{N}(u)}=\sum _{v\in \mathcal{N}(u)}{\alpha }_{u,v}{\mathbf{h}}_v$$
权重$\alpha$ 为：
$${\alpha }_{u,v}=\frac{\exp \left({\mathbf{a}}^{\top }\left[{\mathbf{W}\mathbf{h}}_u\oplus {\mathbf{W}\mathbf{h}}_v\right]\right)}{{\sum }_{v^{\prime }\in \mathcal{N}(u)}\exp \left({\mathbf{a}}^{\top }\left[{\mathbf{W}\mathbf{h}}_u\oplus {\mathbf{W}\mathbf{h}}_{v^{\prime }}\right]\right)}$$
其中$\oplus$为concatenation。
该公式还有一些变形，如
$${\alpha }_{u,v}=\frac{\exp \left({\mathbf{h}}_u^{\top }\mathbf{W}{\mathbf{h}}_v\right)}{{\sum }_{v^{\prime }\in \mathcal{N}(u)}\exp \left({\mathbf{h}}_u^{\top }{\mathbf{W}\mathbf{h}}_{v^{\prime }}\right)}$$

$${\alpha }_{u,v}=\frac{\exp \left(\mathrm{MLP}\left({\mathbf{h}}_u,{\mathbf{h}}_v\right)\right)}{{\sum }_{v^{\prime }\in \mathcal{N}(u)}\exp \left(\mathrm{MLP}\left({\mathbf{h}}_u,{\mathbf{h}}_{v^{\prime }}\right)\right)}$$

Over-smoothing

过平滑是图神经网络里一个非常核心的问题，在多轮迭代后，某些节点的“个性”会丢失，使得许多节点的特征趋向与邻节点相同。这一问题限制了GNN网络层数的加深。

一些处理思路和图神经网络深度应用将在后续文章介绍