1.Abstract
目前GNNs通过利用self-attention机制已经取得较好的效果。但目前的注意力机制都只是考虑到相连的节点,却不能利用到能提供图结构上下文信息的多跳邻居(multi-hop neighbors)。因此提出 Direct multi-hop Attention based Graph neural Network (DAGN),在注意力机制中加入多跳信息,从邻居节点扩展到非邻居节点,增加每一层网络中的感受野(receptive field)。 同时,DAGCN采用diffusion prior的方法来计算节点对上的attention values 。实验结果表明能取得 state-of-the-art 的结果。2.Introduction
目前GNNs中的attention仅局限于直接邻居,因此每一层的感受野局限在one-hop结构中。直接stack更多的GAT层会带来 oversmoothing problem。另外,edge attention values也只与节点表示本身有关,没有考虑到图结构的上下文信息。将多跳邻居上下文信息考虑到GNNs的注意力计算还没有被研究。提出DAGN模型具有新颖的 graph attention diffusion layer,如图一所示,其主要有两个优势:在每一层中就能进行 long-range message passing;
attention的计算是与context有关的,DAGN通过聚集所有路径上的注意力score来计算注意力
3.DAGN
3.1 Multi-hop Attention Diffusion
Attention diffusion是每一层中用于计算DAGN‘s的attention分数。首先计算每一条边上的attention分数 (1) Edge Attention Computation 一条边 的attention分数 计算方式如下( 和 表示节点, 表示边的种类): 将公式(1)应用到graph中的每一条边后,得到 attention score matrix : 随后,通过对得 进行softmax得到 attention matrix ,其中 表示当从节点 向节点 聚集信息时,在第 层中的attention value。 (2) Attention Diffusion for Multi-hop Neighbors 在第二阶段,在网络中将不直接连接的节点之间启用注意力。该过程基于1-hop注意力矩阵 的幂,通过图扩散来计算multi-hop邻居的注意分数: 其中 是 attention decay factor,满足 。该过程通过利用 来增加attention的感受野。在作者的实现中,利用了几何分布( geometric distribution ) ,其中 。该选择的原因是基于the inductive bias,为了使得远处的节点对应的weight应该较少;同时对与目标节点关系路径长度不同的节点权重应该相互独立。因此,本文定义了基于特征聚合的graph attention diffusion: (3) Approximate Computation for Attention Diffusion : 对于大图,公式(3)的计算开销巨大,而DAGCN需要通过 进行信息聚合,本文通过定义一个数列 , 当 时,该数列能收敛到 的值: 证明请参考原文。上述的近似使得attention的复杂度保持在 。很多真实世界网络具有小世界(small-world )特征,在这种情况下,较小的K值就足够。对于具有较大直径的图,选择较大的K和较小 。3.2 Direct multi-hop Attention based GNN
(1) Multi-head Graph Attention Diffusion Layer 采用多头注意力机制,每个head都是单独计算然后进行聚合: (2) Deep Aggregation 每一个DAGN块中包含两层的前馈神经网络(feedforward network),同时还加入了layer normalization和residual connection,增加模型的表达能力: (3) DAGN generalizes GAT 该部分说明DAGN可以看作是GAT的扩展,加入了额外的参数 ,layer normalization和residual connection。4.Experiments
总体上进行三类实验,包括node classification,knowledge graph completion以及Model Analysis。实验具体的设置和结果描述请查看原文。4.1Node classification
主要用了4个常用的图数据集,取得了state-of-the-art 的性能表现,还进行了Ablation研究,结果如下:4.2. Knowledge graph completion
知识图谱补全实验,也取得了state-of-the-art 的性能表现,结果如下:4.3 Model Analysis
该部分得出了一些结论如下:在DAGN中,较小特征值被amplfied,对应着graph中的large-scale structure;较大特征值被suppressed,对应着graph中带有noise信息的特征向量;
由于 over-smoothing problem,GCN和GAT会随着层数的增加而性能下降;而DAGN在18层时能取得最好的性能;
最优K值与最大节点平均最短路径距离( the largest node average shortest path distance )相关,这能帮助选择最佳的K;
相对于GAT,DAGN的Attention Distribution分布有larger discrepancy,说明更能分辨出重要的节点
4.4 Personal Thoughts
优点:将GAT扩展到多跳邻居,节点能获取更多信息
利用一种近似的方法来计算多跳的attention,使得复杂度任然保持较低
实验比较充实,结果证明在各个任务都能取得the state of art
原文指出:DAGN = GAT + diffusion + layer normalization + residual connection,在Cora分类中,DAGN=85.4,GAT = 83,而DAGN - diffusion = 83 ,没有进行GAT+layer normalization 或 residual connection的实验
由于论文还没被接受,没有代码公开
个人感觉里面有一些细节没讲清楚
如果你觉得本文有用,谢谢转发,分享与点赞