《GSN A Universal Graph Neural Network Inspired by Spring Network》阅读笔记

一.概述

metric learning：度量学习旨在从（弱）监督数据中学习一种度量数据对象间距离的方法。通过学习距离度量，能够让相似的对象更接近，不相似的对象相互远离。

本文作者提出了一个有理论支撑的、同时适用于同配图（homophilous graph）和异配图（heterophilous graph）的图神经网络模型Graph Spring Network（GSN）。作者表明，GSN框架从弹簧势能最小化的角度用各种度量可以解释许多现有的GNN模型。几个现实世界中同配和异配数据集上的实验表明了GSN的优越性能。

二.预备知识

数学符号表：

符号	说明
$\mathbf{X},\mathbf{x}$	大写粗体字母表示矩阵，小写字母代表向量
$\mathrm{tr}(\mathbf{X})$	矩阵的迹，$\mathrm{tr}(\mathbf{X}):={\sum }_i{\mathbf{X}}_{ii}$
$|\mathbf{X}{|}_F$	矩阵的Forbenius范数，$|\mathbf{X}|{F}:=\sqrt{\sum{i, j}\left
$|\mathbf{x}{|}_p$	向量的$p$范数，$|\mathbf{x}|{p}:=\left(\sum{i}\left
Hardmard积	两个矩阵或向量间的逐元素积，$(\mathbf{X}\odot \mathbf{Y}{)}_{ij}={\mathbf{X}}_{ij}{\mathbf{Y}}_{ij}$，$(\mathbf{x}\odot \mathbf{y}{)}_i={\mathbf{x}}_i{\mathbf{y}}_i$

图理论的相关概念：

符号	说明
$\mathcal{G}=(\mathcal{V},\mathcal{E})$	（无向）图，其中$\mathcal{V}$和$\mathcal{E}$分别表示点集和边集
A ∈ { 0 , 1 } ∣ V ∣ × ∣ V ∣ \mathbf{A} \in\{0,1\}^{|\mathcal{V}| \times |\mathcal{V}|} A∈{0,1}∣V∣×∣V∣	图的邻接矩阵
N ( i ) : = { j : ( i , j ) ∈ E } \mathcal{N}(i):=\{j:(i, j) \in \mathcal{E}\} N(i):={j:(i,j)∈E}	节点$i$的邻居集合
N ( i ) ‾ : = N ( i ) ∪ { i } \overline{\mathcal{N}(i)}:=\mathcal{N}(i) \cup\{i\} N(i)​:=N(i)∪{i}	节点$i$的邻居与其自身的集合
$d_i$	节点$i$的度，即节点的邻居数
$\mathbf{D}:=\mathrm{diag}\left(d_1,d_2,\cdots ,d_{|\mathcal{V}|}\right)$	度矩阵（对角阵），其中 ${\mathbf{D}}_{ii}=d_i(i=1,2,\cdots ,|\mathcal{V}|)$
$h_{\mathrm{edge}}(\mathcal{G},\mathcal{Y})=\frac{|\{(u,v):(u,v)\in \mathcal{E}\wedge {\mathcal{Y}}_u={\mathcal{Y}}_v\}|}{|\mathcal{E}|}$	边同构率，即所有边中相同类别节点间边所占的比例
$\mathbf{L}:=\mathbf{D}-\mathbf{A}$	图的拉普拉斯矩阵，由于是无向图，所有拉普拉斯矩阵是实对称的，其可以被分解为 $\mathbf{L}={\mathbf{U}}^{\top }\mathbf{\Lambda }\mathbf{U}$，其中$\mathbf{\Lambda }=\mathrm{diag}\left({\lambda }_1,{\lambda }_2,\cdots ,{\lambda }_{|\mathcal{V}|}\right)$表示拉普拉斯矩阵的特征值，$\mathbf{U}$是特征值所对应的特征向量。
${\mathbf{L}}^{\text{sym }}:={\mathbf{D}}^{-\frac{1}{2}}\mathbf{L}{\mathbf{D}}^{-\frac{1}{2}}=\mathbf{I}-{\mathbf{D}}^{-\frac{1}{2}}\mathbf{A}{\mathbf{D}}^{-\frac{1}{2}}$	正则化的拉普拉斯矩阵
${\mathbf{P}}^{\text{sym }}={\mathbf{D}}^{-\frac{1}{2}}\mathbf{A}{\mathbf{D}}^{-\frac{1}{2}}$	正则化的邻接矩阵

图的拉普拉斯矩阵有两个重要的性质：半正定、${\lambda }_1=0$是最小的特征值，$1$是其对应的特征向量。

三.GSN模型

3.1 模型提出的动机

什么是好的节点嵌入：一个好的节点嵌入将使任意两个相连的同配性节点靠近，并将任意两个相连的异配性节点推远。例如下图中，直观地说，图右所对应的节点嵌入要更好，因为它更容易将节点划分为不同的类。

Spring Network：作者使用弹簧网络来建模同配性节点或异配性节点间的边，即拉近相似对象间的距离，拉远不相似对象间的距离。在图2中，作者把节点间的边看作弹簧，最初同配性边是延申的弹簧，异配性边是压缩的弹簧。随着Spring网络的自由演化，系统的总势能最小化。具有相同属性的节点被拉近，而具有不同属性的节点被拉远，使得具有不同标签的节点更容易分离。

假设两个节点的坐标为${\mathbf{x}}_1,{\mathbf{x}}_2\in {\mathbb{R}}^d$，根据胡克定律和弹性势能的计算公式，节点1对节点2施加的力以及两个节点间的弹性势能为：
$$\begin{array}{rl}{\mathbf{F}}_{12}& =k(||{\mathbf{r}}_1-{\mathbf{r}}_2|{|}_2-l_0)\frac{{\mathbf{r}}_1-{\mathbf{r}}_2}{||{\mathbf{r}}_1-{\mathbf{r}}_2|{|}_2}\\ E_p& =\frac{1}{2}k(||{\mathbf{r}}_1-{\mathbf{r}}_2|{|}_2-l_0{)}^2\end{array}$$

胡克定律：在弹性限度内，弹簧的弹力$\mathbf{F}$和弹簧的长度变化量$x$（当前长度$l$减去松弛长度$l_0$）成线性关系，即$\mathbf{F}=-k\mathbf{x}$。

弹性势能：弹簧的弹性势能的计算公式为$E_p=\frac{1}{2}k||\mathbf{x}|{|}^2$。

3.2 弹性势能函数

度量矩阵$\mathbf{M}$：给定图$\mathcal{G}=(\mathcal{V},\mathcal{E})$ ，其初始节点嵌入为${\mathbf{Z}}^{(0)}$，将每条边$(i,j)$看作一个弹簧，其初始长度为$\Vert {\mathbf{Z}}_{i:}^{(0)}-{\mathbf{Z}}_{j:}^{(0)}{\Vert }_2$，初始势能为${\mathbf{E}}_{ij}$（$\mathbf{E}\in {\mathbb{R}}_{\ge 0}^{n\times n}$表示弹性势能矩阵）。弹簧$(i,j)$的松弛长度为$M_{ij}$（$\mathbf{M}\in {\mathbb{R}}_{\ge 0}^{n\times n}$为松弛长度矩阵）。根据弹性势能公式可知${\mathbf{E}}_{ij}=\frac{1}{2}{k}_{ij}{\left({\Vert {\mathbf{Z}}_{i:}^{(0)}-{\mathbf{Z}}_{j:}^{(0)}\Vert }_2-{\mathbf{M}}_{ij}\right)}^2$，通过其可以导出：
$$\begin{array}{rl}{\mathbf{M}}_{ij}& ={\mathbf{A}}_{ij}\left({\Vert {\mathbf{Z}}_{i:}^{(0)}-{\mathbf{Z}}_{j:}^{(0)}\Vert }_2\pm \sqrt{\frac{2{\mathbf{E}}_{ij}}{k_{ij}}}\right)\\ & =\{\begin{array}{ll}0,& (i,j)\notin \mathcal{E}\\ {\Vert {\mathbf{Z}}_{i:}^{(0)}-{\mathbf{Z}}_{j:}^{(0)}\Vert }_2+\sqrt{\frac{2{\mathbf{E}}_{ij}}{k_{ij}}},& (i,j)\text{ compressed }\\ {\Vert {\mathbf{Z}}_{i:}^{(0)}-{\mathbf{Z}}_{j:}^{(0)}\Vert }_2-\sqrt{\frac{2{\mathbf{E}}_{ij}}{k_{ij}},}& (i,j)\text{ stretched. }\end{array}\end{array}$$
作者使用一个软变量${\alpha }_{ij}\in [-1,1]$来指示弹簧$(i,j)$最初是拉伸还是压缩，并重参数化 ${\mathbf{E}}_{ij}\equiv 2{\mathbf{E}}_{ij}/k_{ij}$，则可得：
$${\mathbf{M}}_{ij}={\mathbf{A}}_{ij}\left(\Vert {\mathbf{Z}}_{i:}^{(0)}-{\mathbf{Z}}_{j:}^{(0)}\Vert -{\alpha }_{ij}\sqrt{{\mathbf{E}}_{ij}}\right)$$

弹簧最初拉伸时${\alpha }_{ij}$接近1，并对应一条同配性边；当${\alpha }_{ij}$接近-1时，弹簧被压缩，并对应于异配性边。

---

${\alpha }_{ij}$的获取：假设节点$i,j$的嵌入分别为：${\mathbf{h}}_i,{\mathbf{h}}_{\mathbf{j}}$，作者使用注意力机制来获取${\alpha }_{ij}$。与平常计算得到的attention score不同的时，本文的attention score可以为负数。

---

最初能量矩阵$\mathbf{E}$的获取：直观地说，$\mathbf{E}$应该是初始节点嵌入${\mathbf{Z}}^{(0)}$和拉伸/压缩注意力${\alpha }_{ij}$的函数。此外，它还需满足三个性质：

• 非负性：弹簧弹性势能肯定是大于等于0 的；
• 同配性限制：当$\alpha \to 1^{-}$时，${\mathbf{M}}_{ij}\to 0$，即${\mathbf{E}}_{ij}\to {\Vert {\mathbf{Z}}_{i:}^{(0)}-{\mathbf{Z}}_{j:}^{(0)}\Vert }_2^2$；
• 异配性限制：当$\alpha \to -1^{+}$时，${\mathbf{M}}_{ij}\to +\infty$，即${\mathbf{E}}_{ij}\to +\infty$。

基于此，作者提出的最初能量矩阵的计算公式为：
$${\mathbf{E}}_{ij}=\frac{4{\Vert {\mathbf{Z}}_{i:}^{(0)}-{\mathbf{Z}}_{j:}^{(0)}\Vert }_2^2}{{\left({\alpha }_{ij}+1\right)}^2}$$
则对应的${\mathbf{M}}_{ij}$为：
$$\begin{array}{rl}{\mathbf{M}}_{ij}& ={\Vert {\mathbf{Z}}_{i:}^{(0)}-{\mathbf{Z}}_{j:}^{(0)}\Vert }_2-\frac{2{\alpha }_{ij}}{{\alpha }_{ij}+1}{\Vert {\mathbf{Z}}_{i:}^{(0)}-{\mathbf{Z}}_{j:}^{(0)}\Vert }_2\\ & =\frac{1-{\alpha }_{ij}}{1+{\alpha }_{ij}}\Vert {\mathbf{Z}}_{i:}^{(0)}-{\mathbf{Z}}_{j:}^{(0)}{\Vert }_2\end{array}$$

---

嵌入势能函数：给定度量矩阵$\mathbf{M}$和节点嵌入$\mathbf{Z}$，则弹性势能的计算公式为：
$$\begin{array}{rl}& E_p(\mathbf{Z};\mathcal{G},\mathbf{M})\\ =& \sum _{(i,j)\in \mathcal{E}}\frac{1}{2}{k}_{ij}{\left({\Vert {\mathbf{Z}}_{i:}-{\mathbf{Z}}_{j:}\Vert }_2-{\mathbf{M}}_{ij}\right)}^2\\ =& \sum _{i,j}{\mathbf{A}}_{ij}\left({\Vert {\mathbf{Z}}_{i:}-{\mathbf{Z}}_{j:}\Vert }_2^2-2{\mathbf{M}}_{ij}{\Vert {\mathbf{Z}}_{i:}-{\mathbf{Z}}_{j:}\Vert }_2+{\mathbf{M}}_{ij}^2\right)\\ =& \mathrm{tr}\left({\mathbf{Z}}^{\top }\mathbf{LZ}\right)-2\sum _{i,j}{\mathbf{M}}_{ij}{\Vert {\mathbf{Z}}_{i:}-{\mathbf{Z}}_{j:}\Vert }_2+\Vert \mathbf{M}{\Vert }_F^2\\ =& \mathrm{tr}\left({\mathbf{Z}}^{\top }\mathbf{LZ}\right)-21^{\top }\left(\mathbf{M}\odot {\mathfrak{D}}^2(\mathbf{Z}{)}^{\odot \frac{1}{2}}\right)1+\Vert \mathbf{M}{\Vert }_F^2\end{array}$$
其中${\left({\mathfrak{D}}^2(\mathbf{Y})\right)}_{ij}={\Vert {\mathbf{Y}}_{i:}-{\mathbf{Y}}_{j:}\Vert }_2^2$，${\left({\mathbf{Y}}^{\odot k}\right)}_{ij}={\left({\mathbf{Y}}_{ij}\right)}^k$。

显而易见，$E_p(\mathbf{Z};\mathcal{G},\mathbf{M})\ge 0$，其值为$0$当且仅当 $\forall (i,j)\in \mathcal{E},{\Vert {\mathbf{Z}}_{i:}-{\mathbf{Z}}_j:\Vert }_2={\mathbf{M}}_{ij}$，此时节点之间的距离与度量矩阵$\mathbf{M}$相同。

3.3 GSN框架

许多物理过程倾向于最小化系统的总势能。对于GSN也是如此，将一个spring网络放入一个有阻力的介质中，让系统自由进化。当系统处于平衡状态时，最终嵌入${\mathbf{Z}}^{\ast }=\arg {\min }_{\mathbf{Z}}{E}_p(\mathbf{Z};\mathcal{G},\mathbf{M})$。

作者重参数$\mathbf{Z}$为$\mathbf{Z}={\mathbf{D}}^{-1/2}\mathcal{Z}$，正则化后的能量计算公式为：
$$\begin{array}{rl}& \widetilde{E_p}(\mathcal{Z};\mathcal{G},\mathbf{M})\\ =& E_p(\mathbf{Z};\mathcal{G},\mathbf{M})\\ =& \mathrm{tr}\left({\mathcal{Z}}^{\top }\mathbf{LZ}\right)-2\sum _{i,j}{\mathbf{M}}_{ij}{\Vert {\mathbf{D}}^{-\frac{1}{2}}{\mathcal{Z}}_{i:}-{\mathbf{D}}^{-\frac{1}{2}}{\mathcal{Z}}_{j:}\Vert }_2+\Vert \mathbf{M}{\Vert }_F^2\\ =& \mathrm{tr}\left({\mathcal{Z}}^{\top }{\mathbf{L}}^{\mathrm{sym}}\mathcal{Z}\right)-21^{\top }\left(\mathbf{M}\odot {\mathfrak{D}}^2{\left({\mathbf{D}}^{-\frac{1}{2}}\mathcal{Z}\right)}^{\odot \frac{1}{2}}\right)1+\Vert \mathbf{M}{\Vert }_F^2\end{array}$$
根据物理学中的局部性概念，作者认为最佳解应当接近初始嵌入${\mathbf{Z}}^{(0)}$，为此，作者添加了一个权衡的正则化项$\alpha {\Vert \mathbf{Z}-{\mathbf{Z}}^{(0)}\Vert }_F^2$。

则最终的优化目标为：
$$E=(1-\alpha )\widetilde{E_p}(\mathbf{Z};\mathcal{G},\mathbf{M})+\alpha ||\mathbf{Z}-{\mathbf{Z}}^{(0)}|{|}_F^2$$
作者用$\mathbf{H}$表示$\mathbf{M}\odot {\mathfrak{D}}^2{\left({\mathbf{D}}^{-\frac{1}{2}}\mathbf{Z}\right)}^{\odot -\frac{1}{2}}$，求$E$关于$\mathbf{Z}$的偏导数为：
$$\frac{\partial E}{\partial \mathbf{Z}}=2(1-\alpha )\left({\mathbf{L}}^{\text{sym }}-2{\mathbf{L}}_{\mathbf{H}}^{\text{sym }}\right)\mathbf{Z}+2\alpha \left(\mathbf{Z}-{\mathbf{Z}}^{(0)}\right)$$
其中${\mathbf{L}}_{\mathbf{H}}$表示$\mathrm{diag}(H1)-\mathbf{H}$，若将 $\mathbf{H}$看作某个图的邻接矩阵，则$\mathrm{diag}(H1)-\mathbf{H}$可以看作该图的拉普拉斯矩阵。让偏导数为0，即：
$$\begin{array}{rl}& \frac{\partial E}{\partial \mathbf{Z}}=\mathbf{O}\\ & \iff (1-\alpha )\left(\left(\mathbf{I}-{\mathbf{P}}^{\mathrm{sym}}\right)-2{\mathbf{L}}_{\mathbf{H}}^{\mathrm{sym}}\right)\mathbf{Z}+\alpha \left(\mathbf{Z}-{\mathbf{Z}}^{(0)}\right)=\mathbf{O}\\ & \iff \mathbf{Z}=(1-\alpha ){\mathbf{P}}^{\mathrm{sym}}\mathbf{Z}+2(1-\alpha ){\mathbf{L}}_{\mathbf{H}}^{\mathrm{sym}}\mathbf{Z}+\alpha {\mathbf{Z}}^{(0)}\end{array}$$
作者将${\mathbf{P}}^{\text{sym }}\mathbf{Z}$看作拓扑信息，将${\mathbf{L}}_{\mathrm{H}}^{\text{sym }}\mathbf{Z}$看作位置信息，通过解耦两类信息的系数，并引入renormalization trick和非线性得到GSN传播层的更新规则如下：
$${\mathbf{Z}}^{(k+1)}=\sigma \left(\left(\left((1-\alpha ){\tilde{\mathbf{P}}}^{\mathrm{sym}}+2\beta {\mathbf{L}}_{\mathrm{H}}^{\mathrm{sym}}\right){\mathbf{Z}}^{(k)}+\alpha {\mathbf{Z}}^{(0)}\right){\mathbf{W}}^{(k)}\right)$$
GSN的框架图如下所示，在该框架中，${\mathbf{Z}}^{(0)}$是对节点特征$\mathbf{X}$进行降维来获取到的，作者使用一个单线性层或GCN层来进行降维。然后通过一个度量层来计算节点间的度量矩阵$\mathbf{M}$，同时初始嵌入通过$k$个传播层以获取最终的节点嵌入。

论文附录中还有关于GSN的Message Passing传播机制。

四.实验

实验的数据集为（红框中的为异配图数据集）：

半监督节点分类实验

作者将GSN与一众baseline在半监督节点分类任务上进行了对比。

结论：GSN在同配图和异配图上都表现良好。

Over-smoothing问题实验

作者设置图卷积的层数分别为4、16、64来观测GSN与baseline在过平滑问题上的性能表现。

结论：GSN在同配性和异配性数据集上都不会出现过平滑问题。