【论文阅读笔记】——《Graph Attention Networks》

《Graph Attention Networks》——图注意力网络GAT阅读笔记

——本文发表在2018ICLR上，将注意力机制运用到GCN上，使得图神经网络更加完善，达到了state-of-the-art的效果。原文地址： https://arxiv.org/abs/1710.10903

相关背景

CNN在处理格状数据（例如图片）分类任务上得到了很好的效果，但现实中很多数据无法表达为格状数据，例如社会网络、三维网络、生物网络等都是不规则的数据。

GNN的提出为解决任意结构的图状数据提供了很好的思路。GNN迭代地计算图中节点的传播过程直至收敛，再经过一系列神经网络处理可以得到节点的输出结果。

GCN做到了将卷积的思想运用到了GNN上，在网络节点划分任务上取得了很好的效果，但是对节点的特征表示却局限于图的结构，因此对于一个新的图结构我们总是要去训练一个新的模型。同时GCN是基于图的拉普拉斯矩阵来做卷积操作，其中涉及了大量的矩阵运算。

attention机制在基于seq的模型上取得了很好的效果，几乎成为处理seq任务的行业标准。attention输入可以是不同大小的序列数据，self-attetion\intra-attention常用于处理计算单序列表达的任务。

作者由此提出GAT——Graph Attention Networks，一种将attention机制运用到图结构数据节点分类任务的方法。它结合了attention高并行性的特点，并且对于不同度的节点的不同邻居赋予各自的权值，GAT还能泛化与之前没有训练过的图࿰