GAT论文理解

GAT论文理解

零、背景

1. 传统的GCN难以解决Inductive的问题，也就是说如果有新点，则需要通过重构的方式来进行。
2. 而且呢，基于谱的方法比较晦涩难懂，但是作者提出的基于Attention的GNN则写得非常的直观易懂，且做法也简单，有一种我上我也行的感觉，主要是结果还很好[1]。
3. 本篇文章的前两页也很细致的回顾了图卷积的背景与经典方法，如基于谱的经典方法和不基于谱的经典方法，感觉作为一篇简单的综述都是很好的
4. 作者我有一次看到好像是被称为机器学习领域的三个最大牛之一的人物，所以大牛果然是大牛。

一、模型结构

对于图的表示学习来说，主要目的就是每个点输入的时候有一个表征$h_i$，其维度为$d$。通过一个GNN，之后要学到一个维度为$d^{\prime }$的新的表征$h_i^{\prime }$，通过这个$h_i^{\prime }$去进行下游的一些任务如聚类等。

1.1 全连接层

传统的做法首先是将$h_i$通过一个参数共享的全连接层$W$，其中$W$是$d^{\prime }\times d$维的即
$$h_i^{\prime }=W{h}_i$$

1.2 attention的计算

在图上的话，只通过全连接显然是不够的，要聚合当前点和其他点的关系带来的信息，但是每个点对当前点影响又不一致，因此就要用attention进行计算了，作者先通过attention计算了一个权重$e_{ij}$代表点$i$和点$j$的关系，在本文中作者只考虑了对于点$i$的一阶邻居对$i$的影响。
$$\begin{gathered} e_{ij}=a(W{h}_i,W{h}_j) \\ 其中，a(W{h}_i,W{h}_j)=LeakyReLU(\vec{a}[W{h}_i\Vert W{h}_j]) \end{gathered}$$
$[a\Vert b]$是将$a$和$b$拼在一起的意思，因此$\vec{a}$就是一个维度为$2d^{\prime }$的向量，得到第$i$个点和第$j$个点聚合的结果，使用$LeakyReLU$是负数位置也有梯度的$ReLU$，使用这个激活函数我觉得可能是有一些点会起到负数的效果。

接着再用$softmax$使相邻点的权重归一化，即
$$\begin{gathered} {\alpha }_{ij}=\frac{exp(e_{ij})}{{\sum }_{k\in N_i}exp(e_{ik})} \\ 即{\alpha }_{ij}=\frac{exp(LeakyReLU(\vec{a}[W{h}_i\Vert W{h}_j]))}{{\sum }_{k\in N_i}exp(LeakyReLU(\vec{a}[W{h}_i\Vert W{h}_k]))} \end{gathered}$$
其中$N_i$表示$i$的一阶邻居。

1.3 邻居信息的聚合

有了这个权重，聚合起来就比较方便，就有
$$h_i^{\prime }=\sigma (\sum _{j\in N_i}{\alpha }_{ij}W{h}_i)$$
即加权聚合到一起

1.4 多头注意力机制

然而呢，注意力机制只做一次效果可能不好，做上K次可能就好了，因此作者又增加了一个多头注意力机制，用两种方式进行聚合，一种是直接拼接，得到一个$K{d}^{\prime }$维的向量，即
$$h_i^{\prime }={\Vert }_{k=1}^K\sigma (\sum _{j\in N_i}{\alpha }_{ij}^k{W}^k{h}_i)$$
另一种是进行平均，得到$d^{\prime }$维的向量

即
$$h_i^{\prime }=\sigma (\frac{1}{K}\sum _{k=1}^K\sum _{j\in N_i}{\alpha }_{ij}^k{W}^k{h}_i)$$

二、一点想法

1. 作者只聚合了一阶邻居，不知道有没有办法可以拓展到更高阶。
2. 作者只考虑了$i$和相邻点的关系，没考虑邻居之间互相的关系，有两个类似的邻居的话，没准会减弱每个的关系，不过我觉得这个学习的时候也能学到。

三、引用

[1] Velikovi P , Cucurull G , Casanova A , et al. Graph Attention Networks[J]. 2017.