GRAPH ATTENTION NETWORKS--论文阅读笔记

摘要

介绍：该论文发表于2018年ICLR（International Conference on Learning Representations）国际学习表征会议
一、摘要
      作者提出了图注意网络graph attention networks（GATS），它是一种操作于图结构数据，利用屏蔽的自我注意层（leveraging masked self-attentional layers ）来解决基于图卷积或其近似的现有方法缺点的新型的神经网络体系结构。

      通过堆叠层（节点在堆叠层中能够关注邻近节点的特征），我们可以(隐式地)为邻居中的不同节点指定不同的权重。
GATS的优点：

• 不需要预先知道图的结构
• 不需要任何类型的代价高昂的矩阵运算(例如求逆)
• 解决了基于谱的图神经网络的几个关键挑战
• 使模型易于应用于inductive问题和transductive问题。
  GATS在Cora、Citeseer、Pubmed、PPI四个数据集中取得了state of the art【当前最高的水平】水平的准确率。

【注解】：作者受到attention机制的启发，将attention机制思想应用到图卷积网络中，这里的attention机制,为每个节点的邻居节点分配权重，从而关注作用较大的节点，而忽略作用较小的节点。

【注解】：注意力机制如今已经被广泛地应用到了基于序列的任务中，它的优点是能够放大数据中最重要的部分的影响。这个特性已经被证明对许多任务有用，例如机器翻译和自然语言理解。如今融入注意力机制的模型数量正在持续增加，图神经网络也受益于此，它在聚合过程中使用注意力，整合多个模型的输出，并生成面向重要目标的随机行走。
（点我查看来源）

【注解】inductive VS transductive**

• 归纳学习（InductiveLearning）：先从训练样本中学习到一定的模式，然后利用其对测试样本进行预测（即首先从特殊到一般，然后再从一般到特殊），这类模型如常见的贝叶斯模型。
• 演绎学习（Transductive Learning）：先观察特定的训练样本，然后对特定的测试样本做出预测（从特殊到特殊），这类模型如 k近邻、SVM 等。(来源)
  

一、介绍

      卷积神经网络(CNNs)能够解决图像分类、语义分割、机器翻译等问题，其中底层数据表示具有网格状结构。这些体系结构通过将其本地滤波器应用于所有输入位置来有效地重用其具有可学习参数的本地滤波器。
      然而，许多有趣的任务涉及的数据不能以类似网格的结构表示，而是位于不规则的域中。这是3D网格、社交网络、电信网络、生物网络或大脑连接的情况。这样的数据通常可以用图表的形式来表示。

      在文献中已经有几次尝试将神经网络扩展到处理任意结构的图。早期的工作使用递归神经网络来处理图域中表示为有向无环图的数据。图神经网络(GNNs)是由Gori等人提出的。作为递归神经网络的推广，它可以直接处理一类更一般的图，例如循环图、有向图和无向图。GNN由一个迭代过程组成，该过程将节点状态传播到平衡；然后是一个神经网络，基于他的状态，它为每个节点生成一个输出。这一思想被李等人采纳并加以改进。

【注解3】：首先谈到了CNN在一些领域应用比较成功，擅长处理网格状（grid-like）例如图片类等比较规整的数据，面对一些不规则的数据，由于CNN提取特征使用的是滤波器在规整数据上做卷积操作的方法，对于图这种不规则的数据时，CNN无能为力，在递归神经网络的推广下，这时图卷积网络诞生了。
【注解4】：图神经网络可划分一下五个类：图卷积网络（Graph Convolution Networks，GCN）、 图注意力网络（Graph Attention Networks）、图自编码器（ Graph Autoencoders）、图生成网络（ Graph Generative Networks） 和图时空网络（Graph Spatial-temporal Networks）。详见：https://zhuanlan.zhihu.com/p/75307407?from_voters_page=true

该文件提议在传播步骤中使用门控经常性单元(Cho等人，2014年)。其建议在传播步骤中使用门控循环单元。
然而，人们对将卷积推广到图域的兴趣与日俱增。这一方向的进展通常分为光谱方法和非光谱方法。

一方面，谱方法处理图的谱表示，并已成功地应用于节点分类的上下文中。在布鲁纳等人。(2014)中，卷积运算是通过计算图的拉普拉斯特征分解在傅立叶域中定义的，导致潜在的密集计算和非空间局域滤波器。这些问题在随后的工作中得到了解决。Henaff等人。(2015)引入了平滑系数谱滤波器的参数化，以使其在空间上局部化。后来，Defferrard等人。(2016)提出通过图拉普拉斯的切比雪夫展开来近似滤波器，消除了计算拉普拉斯的特征向量的需要，从而产生了空间局域滤波器。最后，Kipf&Wling(2017)通过将过滤器限制在每个节点周围的1步邻域中操作，简化了之前的方法。然而，在所有上述谱方法中，学习的滤波器依赖于拉普拉斯本征基，而拉普拉斯本征基依赖于图的结构。因此，在特定结构上训练的模型不能直接应用于具有不同结构的图。

另一方面，我们有非谱方法(Duvenaud等人，2015；Atwood&Towsley，2