文献阅读13期：Deep Learning on Graphs: A Survey - 2

[ 文献阅读·综述 ] Deep Learning on Graphs: A Survey [1]

推荐理由：图神经网络的survey paper，在很多的领域展现出了独特的作用力，分别通过GRAPH RNN（图循环网络）、GCN（图卷积）、GRAPH AUTOENCODERS（图自编码器）、GRAPH REINFORCEMENT LEARNING（图强化学习模型）、GRAPH ADVERSARIAL METHODS（图对抗模型）等五个类型的模型进行阐述，可以让大家对图神经网络有一个整体的认识

4. 图卷积网络（Graph Convolutional Networks）

• 下表首先展现了一部分GCN的特性：
  
  可以看出，目前提出的图卷积网络还是非常丰富的。

4.1.卷积运算

• 卷积运算在CNNs中非常常见，但它并不能直接应用在图网络当中，因为图网络没有Grid结构。

4.1.1.谱方法

• 图拉普拉斯矩阵被引入，它的功能类似于信号处理中的傅里叶基，图的卷积操作$\ast G$，可以定义为如下形式：
  $${\mathbf{u}}_1{\ast }_G{\mathbf{u}}_2=\mathbf{Q}\left(\left({\mathbf{Q}}^T{\mathbf{u}}_1\right)\odot \left({\mathbf{Q}}^T{\mathbf{u}}_2\right)\right)\text{\hspace{1em}(5)}$$
  其中${\mathbf{u}}_1,{\mathbf{u}}_2\in {\mathbb{R}}^N$是两种定义在节点上的信号，$\mathrm{Q}$是$\mathrm{L}$的特征向量。
• 通过和${\mathbf{Q}}^T$相乘，即可将图信号${\mathbf{u}}_1,{\mathbf{u}}_2$转换到谱域当中。而与$\mathbf{Q}$相乘，则是实施逆运算。
• 通过转换后输出信号可以表示为：
  $${\mathbf{u}}^{\prime }=\mathbf{Q}\Theta {\mathbf{Q}}^T\mathbf{u}\text{\hspace{1em}(6)}$$
  其中，$\mathbf{\Theta }=\mathbf{\Theta }(\mathbf{\Lambda })\in {\mathbb{R}}^{N\times N}$是一个可训练filters的对角阵，$\mathbf{\Lambda }$是$\mathrm{L}$的特征值。
• 一个卷积层可以对不同的输入输出对施加不同的filters：
  $${\mathbf{u}}_j^{l+1}=\rho \left(\sum _{i=1}^{f_l}\mathbf{Q}{\Theta }_{i,j}^l{\mathbf{Q}}^T{\mathbf{u}}_i^l\right)j=1,\dots ,f_{l+1}\text{\hspace{1em}(7)}$$
• 一般而言，谱域中的filters并不会局限于空间领域，这就意味着在图卷积网络中，每个点有可能被其他所有店影响，而不是仅仅被一小片区域中的点影响。
• 为了解决这个问题，smoothing filters被引入：
  $$\mathrm{diag}\left({\Theta }_{i,j}^l\right)=\mathcal{K}{\alpha }_{l,i,j}\text{\hspace{1em}(8)}$$
  其中，$\mathcal{K}$是固定插值核，${\alpha }_{l,i,j}$是可训练插值系数。
• 然而，有两个根本性问题还未解决：
  1. 在每步计算的时候，拉普拉斯矩阵的全特征向量都是必须的，每一步前/反向传播所需要的时间复杂度至少是$O\left(N^2\right)$，对大规模图网络中，运算量极大
  2. 因为filter依赖图的特征基$\mathrm{Q}$，对于不同结构和尺寸的图来说，分享参数几乎是不可能的事情。

4.1.2.运算效率

• 为了解决效率问题，ChebNet被踢出，并且使用了多项式滤波器：
  $$\Theta (\Lambda )=\sum _{k=0}^K{\theta }_k{\Lambda }^k\text{\hspace{1em}(9)}$$
  其中，${\theta }_0,\dots ,{\theta }_K$是科学系参数，$K$是多项式阶。ChebNet用切比雪夫展开代替了特征分解：
  $$\mathbf{\Theta }(\mathbf{\Lambda })=\sum _{k=0}^K{\theta }_k{\mathcal{T}}_k(\tilde{\mathbf{\Lambda }})\text{\hspace{1em}(10)}$$
  其中，$\tilde{\mathbf{\Lambda }}=2\mathbf{\Lambda }/{\lambda }_{\max }-\mathbf{I}$为经过缩放的特征值，${\lambda }_{\max }$是最大特征值，$\mathbf{I}\in {\mathbb{R}}^{N\times N}$为单位阵，${\mathcal{T}}_k(x)$为k阶切比雪夫多项式，其正交基的rescaling是必要的。
• 利用拉普拉斯矩阵的多项式作为其特征值的多项式，则有${\mathbf{L}}^k=\mathbf{Q}{\mathbf{\Lambda }}^k{\mathbf{Q}}^T$，式6的filter操作可写为如下形式：
  $$\begin{array}{rl}{\mathbf{u}}^{\prime }=\mathbf{Q}\Theta (\mathbf{\Lambda }){\mathbf{Q}}^T\mathbf{u}& =\sum _{k=0}^K{\theta }_k\mathbf{Q}{\mathcal{T}}_k(\tilde{\mathbf{\Lambda }}){\mathbf{Q}}^T\mathbf{u}\\ & =\sum _{k=0}^K{\theta }_k{\mathcal{T}}_k(\tilde{\mathbf{L}})\mathbf{u}=\sum _{k=0}^K{\theta }_k{\overline{\mathbf{u}}}_k\end{array}\text{\hspace{1em}(11)}$$
• 用递归关系可得：
  $${\overline{\mathbf{u}}}_k=2\tilde{\mathbf{L}}{\overline{\mathbf{u}}}_{k-1}-{\overline{\mathbf{u}}}_{k-2}\text{\hspace{1em}(12)}$$
  由于其中含有稀疏矩阵，运算的时间复杂度变为$O(KM)$，M为边的数量，K是多项式阶数。而且易知这个多项式filter是严格的K-localized，即在一次卷积之后，$v_i$的表达只受K步近邻${\mathcal{N}}_K(i)$的影响。
• 通过设置仅用先序近邻来进一步简化filtering可得：
  $${\mathbf{h}}_i^{l+1}=\rho \left(\sum _{j\in \tilde{\mathcal{N}}(i)}\frac{1}{\sqrt{\tilde{\mathbf{D}}(i,i)\tilde{\mathbf{D}}(j,j)}}{\mathbf{h}}_j^l{\Theta }^l\right)\text{\hspace{1em}(13)}$$
  也可写成如下形式：
  $${\mathbf{H}}^{l+1}=\rho \left({\tilde{\mathbf{D}}}^{-\frac{1}{2}}\tilde{\mathbf{A}}{\tilde{\mathbf{D}}}^{-\frac{1}{2}}{\mathbf{H}}^l{\Theta }^l\right)\text{\hspace{1em}(14)}$$
• 当然，除了切比雪夫多项式，还有凯利多项式定义的图卷积：
  $$\mathbf{\Theta }(\mathbf{\Lambda })={\theta }_0+2\mathrm{Re}\left\{\sum _{k=1}^K{\theta }_k{\left({\theta }_h\mathbf{\Lambda }-i\mathbf{I}\right)}^k{\left({\theta }_h\mathbf{\Lambda }+i\mathbf{I}\right)}^k\right\}\text{\hspace{1em}(15)}$$
• 以及将filters里傅利叶变换，换成小波变换的：
  $${\mathbf{u}}_1{\ast }_G{\mathbf{u}}_2=\psi \left(\left({\psi }^{-1}{\mathbf{u}}_1\right)\odot \left({\psi }^{-1}{\mathbf{u}}_2\right)\right)\text{\hspace{1em}(16)}$$

4.1.3.多图

• 很多研究都在致力于找到Generalizing的方法，适用于任意尺度的图网络。
• Neural FPs提出一种空间方法用于先序近邻：
  $${\mathbf{h}}_i^{l+1}=\sigma \left(\sum _{j\in \hat{\mathcal{N}}(i)}{\mathbf{h}}_j^l{\Theta }^l\right)\text{\hspace{1em}(17)}$$
• DCNN的卷积则被定义成如下：
  $${\mathbf{H}}^{l+1}=\rho \left({\mathbf{P}}^K{\mathbf{H}}^l{\mathbf{\Theta }}^l\right)\text{\hspace{1em}(18)}$$
• DGCN则用到了两种卷积，一个是公式14，另一个是将近邻矩阵换为正点相互信息矩阵PPMI，转换形式如下：
  $${\mathbf{Z}}^{l+1}=\rho \left({\mathbf{D}}_P^{-\frac{1}{2}}{\mathbf{X}}_P{\mathbf{D}}_P^{-\frac{1}{2}}{\mathbf{Z}}^l{\Theta }^l\right)\text{\hspace{1em}(19)}$$
  其中${\mathbf{X}}_P$，也是PPMI的计算为：
  $${\mathbf{X}}_P(i,j)=\max \left(\log \left(\frac{\mathbf{P}(i,j){\sum }_{i,j}\mathbf{P}(i,j)}{{\sum }_i\mathbf{P}(i,j){\sum }_j\mathbf{P}(i,j)}\right),0\right)\text{\hspace{1em}(20)}$$

4.1.4.框架

• 基于以上两种工作，MPNNs得以被作为一个统一的框架提出，它在空间领域进行卷积，其传递信息的方式如下：
  $$\begin{array}{r}{\mathbf{m}}_i^{l+1}={\sum }_{j\in \mathcal{N}(i)}{\mathcal{F}}^l\left({\mathbf{h}}_i^l,{\mathbf{h}}_j^l,{\mathbf{F}}_{i,j}^E\right)\\ {\mathbf{h}}_i^{l+1}={\mathcal{G}}^l\left({\mathbf{h}}_i^l,{\mathbf{m}}_i^{l+1}\right)\end{array}\text{\hspace{1em}(21)}$$
• GraphSAGE则使用了多聚合函数：
  $$\begin{array}{r}{\mathbf{m}}_i^{l+1}={\text{ AGGREGATE }}^l(\left\{{\mathbf{h}}_j^l,\forall j\in \mathcal{N}(i)\right\})\\ {\mathbf{h}}_i^{l+1}=\rho \left({\Theta }^l\left[{\mathbf{h}}_i^l,{\mathbf{m}}_i^{l+1}\right]\right)\end{array}\text{\hspace{1em}(22)}$$
  其中：
  $${\text{ AGGREGATE }}^l=\max \left\{\rho \left({\mathbf{\Theta }}_{\text{pool }}{\mathbf{h}}_j^l+{\mathbf{b}}_{\text{pool }}\right),\forall j\in \mathcal{N}(i)\right\}\text{\hspace{1em}(23)}$$
• MoNet的Template Matching：
  $$h_{ik}^{l+1}=\sum _{j\in \mathcal{N}(i)}{\mathcal{F}}_k^l(\mathbf{u}(i,j)){\mathbf{h}}_j^l,k=1,\dots ,f_{l+1}$$
• MoNet的Gaussian kernel：
  $${\mathcal{F}}_k^l(\mathbf{u})=\exp \left(-\frac{1}{2}{\left(\mathbf{u}-{\mathbf{\mu }}_k^l\right)}^T{\left({\mathbf{\Sigma }}_k^l\right)}^{-1}\left(\mathbf{u}-{\mathbf{\mu }}_k^l\right)\right)\text{\hspace{1em}(25)}$$
  其中：
  $$\mathbf{u}(i,j)=\left(\frac{1}{\sqrt{\mathbf{D}(i,i)}},\frac{1}{\sqrt{\mathbf{D}(j,j)}}\right)\text{\hspace{1em}(26)}$$
• GN提出了一种更广泛的框架：
  $$\begin{array}{c}{\mathbf{m}}_i^l={\mathcal{G}}^{E\to V}\left(\left\{{\mathbf{e}}_{ij}^l,\forall j\in \mathcal{N}(i)\right\}\right),{\mathbf{m}}_V^l={\mathcal{G}}^{V\to G}\left(\left\{{\mathbf{h}}_i^l,\forall v_i\in V\right\}\right)\\ {\mathbf{m}}_E^l={\mathcal{G}}^{E\to G}\left(\left\{{\mathbf{e}}_{ij}^l,\forall \left(v_i,v_j\right)\in E\right\}\right),{\mathbf{h}}_i^{l+1}={\mathcal{F}}^V\left({\mathbf{m}}_i^l,{\mathbf{h}}_i^l,{\mathbf{z}}^l\right)\\ {\mathbf{e}}_{ij}^{l+1}={\mathcal{F}}^E\left({\mathbf{e}}_{ij}^l,{\mathbf{h}}_i^l,{\mathbf{h}}_j^l,{\mathbf{z}}^l\right),{\mathbf{z}}^{l+1}={\mathcal{F}}^G\left({\mathbf{m}}_E^l,{\mathbf{m}}_V^l,{\mathbf{z}}^l\right)\end{array}\text{\hspace{1em}(27)}$$

参考文献

[1] Zhang Z, Cui P, Zhu W. Deep learning on graphs: A survey[J]. IEEE Transactions on Knowledge and Data Engineering, 2020.