图卷积神经网络GCN--注意力网络代表作

Graph Attention Networks

1 Graph Attention Networks

[Velickovic P, 2017, 1] 提出了图的注意力网络，利用注意力机制聚合信息，相当于空间法的卷积。

用${\vec{h}}_i^{(l)}$表示第$l$层的第$i$个顶点的特征向量。

• attention coefficient :

$$e_{ij}=a\left(W{\vec{h}}_i^{(l)},W{\vec{h}}_j^{(l)}\right).\text{\hspace{1em}(1.1)}$$

其中$a(\cdot )$是非线性激活函数，原文给的是${\text{LeakReLU}}_{\alpha =0.2}\left(\vec{a}\left[W{\vec{h}}_i^{(l)}\Vert W{\vec{h}}_j^{(l)}\right]\right)$，$\Vert$是拼接操作。

• attention mechanism：

$${\alpha }_{ij}={\text{softmax}}_j(e_{ij})=\frac{\exp (e_{ij})}{{\sum }_{k\in \mathcal{N}(i)}\exp (e_{ik})}.\text{\hspace{1em}(1.2)}$$

用注意力作信息聚合。单头注意力：
$${\vec{h}}_i^{(l+1)}=\sigma \left(\sum _{j\in \mathcal{N}(i)}{\alpha }_{ij}W{\vec{h}}_j^{(l)}\right).\text{\hspace{1em}(1.3)}$$

多头注意力为：
$${\vec{h}}_i^{(l+1)}={\Vert }_{k=1}^K\sigma \left(\sum _{j\in \mathcal{N}(i)}{\alpha }_{ij}^k{W}^k{\vec{h}}_j^{(l)}\right).\text{\hspace{1em}(1.4)}$$

平均注意力：
$${\vec{h}}_i^{(l+1)}=\sigma \left(\frac{1}{K}\sum _{k=1}^K\sum _{j\in \mathcal{N}(i)}{\alpha }_{ij}^k{W}^k{\vec{h}}_j^{(l)}\right).\text{\hspace{1em}(1.5)}$$

2 Watch Your Step: Learning Node Embeddings via Graph Attention

[Abuelhaija S, 2018, 2] 在利用转移矩阵$\mathcal{T}=\text{diag}(A\times {\vec{1}}_N{)}^{-1}\times A$作随机游走计算共现矩阵$D$（co-occurrence matrix）时，使用注意力作概率对每次转移加权。
$$\mathbb{E}\left[D;Q_1,Q_2,\cdots ,Q_C\right]={\tilde{P}}^{(0)}\sum _{k=1}^C{Q}_k{\left(\mathcal{T}\right)}^k={\tilde{P}}^{(0)}{\mathbb{E}}_Q[{\left(\mathcal{T}\right)}^k].\text{\hspace{1em}(2.1)}$$

其中$C$是总的随机游走步数，${\tilde{P}}^{(0)}$是初始的位置对角阵，${\sum }_k{Q}_k=1$。

使用注意力机制：
$$(Q_1,Q_2,Q_3,\cdots )=\text{softmax}((q_1,q_2,q_3,\cdots )).\text{\hspace{1em}(2.2)}$$

3 GaAN: Gated Attention Networks for Learning on Large and Spatiotemporal Graphs

[Zhang J, 2018, 3] 使用了Gate门控注意力，就是在[Velickovic P, 2017, 1]提出的注意力中的${\sum }_{j\in \mathcal{N}(i)}{\alpha }_{ij}W{\vec{h}}_j^{(l)}$的部分再加入一个权重门控：
$${\vec{h}}_i^{(l+1)}={\Vert }_{k=1}^K\sigma \left(\sum _{j\in \mathcal{N}(i)}{g}_i^k{\alpha }_{ij}^k{W}^k{\vec{h}}_j^{(l)}\right).\text{\hspace{1em}(3.1)}$$
门控${\vec{g}}_i$:
g ⃗ i = ( g i 1 , ⋯   , g i K ) = σ ( h ⃗ i ( l ) ∥ max ⁡ j ∈ N ( i ) ( { W 1 h ⃗ j ( l ) + b ⃗ 1 } ) ∥ ∑ j ∈ N ( i ) h ⃗ j ( l ) ∣ N ( i ) ∣ ) W 2 + b ⃗ 2 . (3.2) \vec{g}_i = (g_{i}^{1},\cdots,g_{i}^{K}) = \sigma \left( \vec{h}_i^{(l)} \| \max_{j \in \mathcal{N}(i)} \left(\{ W_1 \vec{h}_j^{(l)} + \vec{b}_1 \} \right) \| \frac{ \sum_{j \in \mathcal{N}(i)} \vec{h}_j^{(l)} }{|\mathcal{N}(i)|} \right) W_2 + \vec{b}_2. \tag{3.2} g ​i​=(gi1​,⋯,giK​)=σ(h i(l)​∥j∈N(i)max​({W1​h j(l)​+b 1​})∥∣N(i)∣∑j∈N(i)​h j(l)​​)W2​+b 2​.(3.2)

4 Graph Classification using Structural Attention

[Lee J B, 2018, 4] 提出了结构注意力，就是对邻居信息聚合时使用了注意力机制。

上图中$f_s(\cdot :{\theta }_s)$对邻居顶点信息聚合，$f_h(\cdot :{\theta }_h)$对隐藏层表达更新，$f_c(\cdot :{\theta }_c)$使用新的隐藏层表达预测标签，$f_r(\cdot :{\theta }_r)$则生成新的排序向量（反映顶点的类型重要性排序）${\vec{r}}_t$。

$f_s(\cdot :{\theta }_s)$也称作Step Module，工作原理见下图。$A,D$别是邻接矩阵和顶点特征向量矩阵，$c_{t-1}$是当前顶点。而${\vec{r}}_{t-1}$是排序向量，$\tau :{\mathbb{R}}^{N\times D}\to {\mathbb{R}}^{N\times R}$，$R$是顶点类型，也可以看成是将原理的特征变换后的新特征表达。其中$(T{\vec{r}}_{t-1}{)}^T$就是注意力权重。

参考文献

• 1 Velickovic P, Cucurull G, Casanova A, et al. Graph Attention Networks[J]. arXiv: Machine Learning, 2017.

• 2 Abuelhaija S, Perozzi B, Alrfou R, et al. Watch Your Step: Learning Node Embeddings via Graph Attention[C]. neural information processing systems, 2018: 9180-9190.

• 3 Zhang J, Shi X, Xie J, et al. GaAN: Gated Attention Networks for Learning on Large and Spatiotemporal Graphs[J]. arXiv: Learning, 2018.

• 4 Lee J B, Rossi R A, Kong X, et al. Graph Classification using Structural Attention[C]. knowledge discovery and data mining, 2018: 1666-1674.