Graph Attention Networks

GAT研究意义:

1、图卷积神经网络常用的几个模型之一(GCN、GAT、GraphSAGE)

2、将Attention机制引入到图神经网络中

3、支持归纳式学习和直推式学习

4、模型具有一定的可解释性

 

本文主要结构如下所示:

一、摘要Abstract

背景介绍及提出GAT模型、图卷积神经网络模型、在节点特征从邻居汇聚的时候考虑权重，适用于直推式和归纳式学习

1、在图结构上使用注意力机制，并提出图注意力网络GAT

2、为每一个中心节点的不同邻居指定不同的权重，计算效率高

3、适用于直推式学习和归纳式学习

4、在多个数据集上达到最优效果

二、Introduction

介绍图的广泛应用，以及如何将卷积操作应用到图上，介绍空域和频域的两类方法，以及注意力机制并引出本文的模型(GAT)

三、Gat Architecture

介绍GAT模型的结构并于之前的模型做对比

四、Evalution

实验部分，主要针对数据集介绍、baseline选取、直推式和归纳式两种实验方式以及图的节点分类效果对比

五、Conclusion

总结提出了GAT模型使用了注意力机制，邻居汇聚时考虑不同的权重，同时具有归纳式学习的能力，并讨论几种未来方向，如模型的可解释性和图的分类

       关键点:  1、消息传递机制  2、模型改进和区别  3、GAT模型结构和分析  

       创新点:  1、Attention机制  2、Multi-head技术  3、直推式 和 归纳式 学习

       启发点:  1、深度学习技术应用到图领域中

                     2、Attention机制的引入衡量邻居的不同权重，有更好的解释性

                     3、直推式和归纳式学习讨论，图的设定上启发不同的工作

                     4、GAT广泛应用到各种应用问题

                     5、GCN、GAT、GraphSAGE非常重要的模型，也是经典的baselines

                     6、模型学习要总结出共性、统一的框架