图机器学习基础知识——GAT、GaAN、JKN、DeepGCN

图注意力网络

GAT（Graph Attention Network）

Paper : Graph Attention Networks

GAT

• GAT由堆叠简单的图注意力层（Graph Attentional Layer）来实现。图注意力层针对节点对$(i,j)$计算注意力系数，计算方式如下：

$${\mathbf{\alpha }}_{\mathbf{ij}}=\frac{\mathbf{exp}(\mathbf{LeakyReLU}({\mathbf{a}}^{\mathbf{T}}[\mathbf{W}{\mathbf{h}}_{\mathbf{i}}||\mathbf{W}{\mathbf{h}}_{\mathbf{j}}]))}{{\sum }_{\mathbf{k}\in {\mathbf{N}}_{\mathbf{i}}}\mathbf{exp}(\mathbf{LeakyReLU}({\mathbf{a}}^{\mathbf{T}}[\mathbf{W}{\mathbf{h}}_{\mathbf{i}}||\mathbf{W}{\mathbf{h}}_{\mathbf{k}}]))}$$

$${\mathbf{h}}_{\mathbf{i}}^{{}^{\prime }}=\mathbf{\sigma }(\sum _{\mathbf{j}\in {\mathbf{N}}_{\mathbf{i}}}{\mathbf{\alpha }}_{\mathbf{ij}}\mathbf{W}{\mathbf{h}}_{\mathbf{j}})$$

• GAT还利用Multi-Head Attention稳定学习过程：Concat or Mean

$${\mathbf{h}}_{\mathbf{i}}^{{}^{\prime }}={||}_{\mathbf{k}=1}^{\mathbf{K}}\mathbf{\sigma }(\sum _{\mathbf{j}\in {\mathbf{N}}_{\mathbf{i}}}{\mathbf{\alpha }}_{\mathbf{ij}}\mathbf{W}{\mathbf{h}}_{\mathbf{j}})$$

$${\mathbf{h}}_{\mathbf{i}}^{{}^{\prime }}=\mathbf{\sigma }(\frac{1}{\mathbf{K}}\sum _{\mathbf{k}=1}^{\mathbf{K}}\sum _{\mathbf{j}\in {\mathbf{N}}_{\mathbf{i}}}{\mathbf{\alpha }}_{\mathbf{ij}}^{\mathbf{k}}{\mathbf{W}}^{\mathbf{k}}{\mathbf{h}}_{\mathbf{j}})$$

GaAN（Gated Attention Network）

GaAN

• GaAN也使用Multi-Head Attention。GaAN与GAT在注意力聚合器方面的区别在于，GaAN使用键-值注意力机制和点积注意力机制，而GAT使用全连接层计算注意力系数

• GaAN通过额外的软门控计算来为不同的注意力头分配不同的权重。该聚合器称为门控注意力聚合器。具体地说，GaAN使用卷积网络，该卷积网络聚合中心节点及其相邻节点的特征以生成门控值

图残差网络

• 动机：在Message Passing Network中，多层GNN能使每个节点都能从k跳远的相邻节点处收集更多信息（因为一层Message Passing只能将信息传递给1跳邻居节点），所以人们开始考虑堆叠多层GNN。然而，单纯的增加模型深度无法改善性能，更深的模型甚至可能表现得更差。这主要是因为，更多的层可能从成倍增加的领域成员中传播噪声信息。

Highway GCN

HN

$$\mathbf{T}({\mathbf{h}}^{\mathbf{t}})=\mathbf{\sigma }({\mathbf{W}}^{\mathbf{t}}{\mathbf{h}}^{\mathbf{t}}+{\mathbf{b}}^{\mathbf{t}})$$

$${\mathbf{h}}^{\mathbf{t}+1}={\mathbf{h}}^{\mathbf{t}+1}\odot \mathbf{T}({\mathbf{h}}^{\mathbf{t}})+{\mathbf{h}}^{\mathbf{t}}\odot (1-\mathbf{T}({\mathbf{h}}^{\mathbf{t}}))$$

Jump Knowledge Network

Paper : Representation Learning on Graphs with Jumping Knowledge Networks

JKN

• 动机：对于图中的中心节点，其相邻节点的数量会随层数增加而呈指数级增长，这意味着学习更多的噪声，并使得表示更平滑。然而，对于图中的边缘节点，即使拓展其感受野，它的相邻节点也很少。因此，这些节点缺乏足够的信息来学习好的表示

• 在JKN中，最后一层的每个节点都从所有中间层表示中选择，这使每个节点都可以根据需要选择合适的领域大小。汇总各层信息的方式包括但不限于拼接、最大池化、LSTM注意力机制。

  

DeepGCN

Paper : DeepGCNs: Can GCNs Go as Deep as CNNs?

DeepGCN

• GNN堆叠网络层两大挑战

  • 梯度消失

    • 解决：残差和密集连接（ResNet、DenseNet）

  • 过度平滑

    • 解决：空洞卷积

• 将原GCN模型记为PlainGCN，并进一步提出ResGCN、DenseGCN。这三个架构组成了DeepGCN模块。在PlainGCN中，隐状态的计算公式如下：
  $${\mathbf{H}}^{\mathbf{t}+1}=\mathbf{F}({\mathbf{H}}^{\mathbf{t}},{\mathbf{W}}^{\mathbf{t}})$$
  对于ResGCN，计算过程为：
  $${\mathbf{H}}_{\mathbf{Res}}^{\mathbf{t}+1}={\mathbf{H}}^{\mathbf{t}+1}+{\mathbf{H}}^{\mathbf{t}}=\mathbf{F}({\mathbf{H}}^{\mathbf{t}},{\mathbf{W}}^{\mathbf{t}})+{\mathbf{H}}^{\mathbf{t}}$$
  对于DenseGCN，计算过程为：
  $${\mathbf{H}}_{\mathbf{Dense}}^{\mathbf{t}+1}=\mathbf{T}({\mathbf{H}}^{\mathbf{t}+1},{\mathbf{H}}^{\mathbf{t}},...,{\mathbf{H}}^0)=\mathbf{T}(\mathbf{F}({\mathbf{H}}^{\mathbf{t}},{\mathbf{W}}^{\mathbf{t}}),\mathbf{F}({\mathbf{H}}^{\mathbf{t}-1},{\mathbf{W}}^{\mathbf{t}-1}),...,{\mathbf{H}}^0)$$
  其中，$F$为卷积操作，$T$为拼接操作

• GCN中的空洞卷积和CNN中的空洞卷积类似，本文使用的是扩张k近邻的方法，扩张率为d。对每个节点，总共选择$k\ast d$个邻居节点，每次选择都会跳过d个相邻节点。邻居节点的选择遵循如下操作：

  • 如果相邻节点为$(u_1,u_2,...,u_{k\ast d})$，则节点v经过扩张化后的相邻节点为$(u_1,u_{1+d},u_{1+2d},...,u_{1+(k-1)d})$

  • 扩张卷积使用不同上下文的信息，增大了节点v的感受野