论文-Multi-hop Attention Graph Neural Networks

Multi-hop Attention Graph Neural Networks

多跳注意力图神经网络

---

---

摘要

图神经网络（GNN）中的自注意机制在许多图表示学习任务上取得了最先进的性能。目前，在每一层，一个节点都为其每个图邻居独立计算注意力。然而，这种关注机制是有限的，因为它不考虑没有通过边缘连接但可以提供重要网络上下文信息的节点。在这里，我们提出了多跳注意力图神经网络（MAGNA），这是一种将多跳上下文信息纳入GNN注意力计算的每一层的原则性方法。MAGNA在整个网络中扩散注意力得分，这增加了GNN每一层的“感受野”。与以前的方法不同，MAGNA使用注意力值上的扩散先验，以有效地考虑未连接节点对之间的所有路径。我们从理论和实验上证明，MAGNA捕获了每一层中的大规模结构信息，并具有低通效应，可以从图中消除有噪声的高频信息。关于节点分类和知识图完成基准的实验结果表明，MAGNA实现了最先进的结果：MAGNA在Cora、Citeseer和Pubmed上比以前的最先进技术实现了高达5:7%的相对误差降低。MAGNA还在大规模开放图基准数据集上获得了强大的性能。最后，在知识图完成方面，MAGNA在WN18RR和FB15k-237的四个不同性能指标方面取得了最新进展。

---

一、引言

自我注意[Bahdanau等人，2015; Vaswani等人，2017]已经在许多领域推动了最先进的技术，包括图形表示学习[Devlin等人，2019年]。图形注意力网络（GAT）[Veliˇckovi´c et al.，2018]和相关模型[Li等人，2018; Wang等人，2019 a; Liu等人，2019; Oono和Suzuki，2020]开发了图形神经网络（GNN）的注意力机制，该机制计算由边连接的节点之间的注意力分数，允许模型关注节点邻居的消息。
然而，在由边缘连接的成对节点上进行这种注意力计算，意味着一个节点只能对其近邻进行注意力计算，以计算其（下一层）表征。这意味着单个 GNN 层的感受野仅限于一跳网络邻域。虽然堆叠多个 GAT 层原则上可以扩大感受野并学习非邻近的交互，但这种深度 GAT 架构存在过平滑问题[Wang 等人，2019a；Liu 等人，2019；Oono 和 Suzuki，2020]，表现不佳。此外，单个 GAT 层中的边缘注意力完全基于边缘端点的两个节点的表征，而不依赖于它们的图邻域上下文。换句话说，GAT 的单跳关注机制限制了其探索更广泛图结构之间关系的能力。尽管之前的工作[Xu et al.，2018；Klicpera et al.，2019b]已经显示出在单层中执行多跳消息传递的优势，但这些方法不是基于图注意力的。因此，将多跳相邻上下文纳入图神经网络的注意力计算还有待探索。

右图 单个 MAGNA 层：(1) 通过多跳注意力 α 0 D;C 捕获 D 的两跳邻居节点 C 的信息；(2) 通过基于图邻接矩阵幂的扩散注意力，考虑节点之间的所有路径，从而增强图结构学习。MAGNA 利用节点 D 的特征计算 A 和 B 之间的注意力。

在这里，我们提出了多跳注意力图神经网络（MAGNA），这是一种针对图结构数据的有效多跳自注意力机制。MAGNA 使用一个新颖的图注意力扩散层（图 1），我们首先计算边上的注意力权重（用实箭头表示），然后通过注意力扩散过程，利用边上的注意力权重计算断开的节点对之间的自注意力权重（虚箭头表示）。
我们的模型有两大优势：(1) MAGNA 可捕捉到非直接连接但可能相距多跳的节点之间的远距离交互。因此，该模型能从多个跳之外的重要节点进行有效的远距离信息传递。(2) MAGNA 中的注意力计算与上下文有关。GATs [Velickovi ˇ c´ et al, 2018]中的注意力值只取决于上一层的节点表征，在非连接节点对之间的注意力值为零。相比之下，对于所选多跳邻域内的任何一对节点，MAGNA 会通过汇总连接两个节点的所有可能路径（长度≥ 1）的关注度分数来计算关注度。
从数学上讲，我们表明MAGNA将个性化页面排名(PPR)置于注意力值之前。我们进一步应用谱图分析表明，MAGNA强调大规模的图结构和降低图中的高频噪声。具体来说，MAGNA放