图学习(一)Graph Attention Networks

最新推荐文章于 2024-04-22 08:20:25 发布

薛定猫的谔w

最新推荐文章于 2024-04-22 08:20:25 发布

阅读量1.1k

点赞数

分类专栏：图学习文章标签：深度学习 pytorch

本文链接：https://blog.csdn.net/csdn_tclz/article/details/110311039

版权

本文介绍了图注意力网络（GAT），一种针对图结构数据的新方法，解决了图卷积网络在inductive任务和有向图处理中的局限性。GAT允许节点根据邻居特征分配不同权重，无需预先构建图，适用于动态图问题。通过逐节点的注意力机制，GAT能够在保持计算效率的同时捕捉图的复杂结构。

摘要由CSDN通过智能技术生成

背景

研究机构：Department of Computer Science and Technology；Centre de Visi´o per Computador, UAB；Montreal Institute for Learning Algorithms
来源:ICLR2018

摘要

针对图结构的数据，本文提出了一种图注意力网络GAT，该网络使用masked self-attention用于解决之前图卷积模型中存在的问题。在GAT中，图中的每个节点可以根据邻节点的特征，为其分配不同的权值。GAT的另一个优点在于，无需使用预先构建好的图。

动机

GCN的局限性：
(1)无法完成inductive任务，即处理动态图问题。
inductive任务是指：训练阶段与测试阶段需要处理的graph不同。通常是训练阶段只是在子图（subgraph）上进行，测试阶段需要处理未知的顶点。（unseen node）
(2)处理有向图的瓶颈，不容易实现分配不同的学习权重给不同的neighbor。

方法

作者提到，GAT的实现方式可以有两种思路。其一，Global graph attention
即每一个顶点 $i$ 都对图上任意顶点进行attention操作。优点：完全不依赖于图的结构，可以很好的完成inductive任务。缺点：计算量巨大，并且数据本身的图结构特点丢失，可能导致很差的结果。

其二，Mask graph attention，注意力机制的运算只在邻居顶点上进行。作者采用的是这种方式。
具体细节:
与一般的attention方法类似，GAT的计算步骤也是两步走策略：
（1）计算注意力分布（即用于加权的系数）
对于顶点 $i$ ，逐个计算各个邻居 $j(j\in N_i)$

最低0.47元/天解锁文章