Graph Attention Network (GAT) 图注意力模型

原创 已于 2024-05-22 20:35:19 修改 · 1.8w 阅读 · 186 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#深度学习 #机器学习 #人工智能

于 2020-07-07 14:24:53 首次发布
本文详细解析了图注意力网络(GAT)的基本原理与实现，包括计算注意力系数、特征加权求和等步骤，并对比了GAT与图卷积网络(GCN)的优缺点，阐述了GAT在处理动态图和有向图问题上的优势。

文章目录

GCN结合邻近节点特征的方式和图的结构依依相关，这也给GCN带来了几个问题：

  • 无法完成inductive任务，即处理动态图问题。inductive任务是指：训练阶段与测试阶段需要处理的graph不同。通常是训练阶段只是在子图（subgraph）上进行，测试阶段需要处理未知的顶点。（unseen node）
  • 处理有向图的瓶颈，不容易实现分配不同的学习权重给不同的neighbor。

于是，Bengio等人在ICLR 2018上提出了图注意力（GAT）模型，论文详见：Graph Attention Networks

1. GAT基本原理

在这里插入图片描述

结合上图，GAT的核心思想就是针对节点 i i i和节点 j j j ， GAT首先学习了他们之间的注意力权重 a i , j a_{i,j} ai,j​（如左图所示）；然后，基于注意力权重 { a 1 , . . . , a 6 } \{a_1, ... , a_6\} { a1​,...,a6<

最低0.47元/天 解锁文章
图卷积神经网络 GAT 模型的基本原理和操作步骤 Using GAT Layers for Text Classification in NLP Tasks
AI天才研究院
08-08 2157
近年来，图神经网络 (GNN) 在处理图结构数据方面展现出强大的能力，受到广泛关注。其中，图注意力网络 (Graph Attention Network, GAT) 作为一种新型的 GNN，通过引入注意力机制，能够更好地捕捉节点之间的依赖关系，在多个领域取得了显著成果。在自然语言处理 (NLP) 领域，文本数据通常可以被建模成图结构，例如句子中单词之间的语法关系、文档中句子之间的语义联系等。因此，将 GAT 应用于 NLP 任务也逐渐成为研究热点。
图神经网络实战（8）——图注意力网络(Graph Attention Networks, GAT)
盼小辉丶的博客
04-22 1万+
图注意力网络 (Graph Attention Networks, GAT) 是对图卷积网络 (Graph Convolutional Network, GCN) 的改进，提出了一种通过自注意力 (self-attention) 过程计算的加权因子，而不是使用静态的归一化系数。在本节中，我们介绍了 GAT 架构。通过从线性变换到多头注意力的四个主要步骤，了解了 GAT 的工作原理，并在 NumPy 中从零开始构建了 GAT 层。最后，将 GAT 模型应用于 Cora 和 CiteSeer 数据集。
GAT-图注意力模型
为援不可图
09-06 5913
在直推式模型如GCN中，使用拉普拉斯矩阵来获取顶点特征，但是，拉普拉斯矩阵存在着一些问题，在运算的时候，需要把整个图所有节点都放进模型中，这就导致无法预测新节点。而GAT采用Attention架构，只负责将该节点的邻居节点进行计算，也就是只计算子图的一部分，这样，就可以避免全图计算。
注意力模型（GAT)
码匀的博客
01-15 5820
Graph数据结构的两种特征： 当我们提到Graph或者网络的时候，通常是包含顶点和边的关系，那么我们的研究目标就聚焦在顶点之上。而除了结构之外，每个顶点还有着自己的特征，因此我们图上的深度学习，无外乎就是希望学习上面两种特征。 GCN的局限性： GCN是处理transductive任务的利器，这也导致了其有着较为致命的两大局限性： 首先GCN无法完成inductive任务，也即它无法完成动态图的问题。 其次，GCN无法处理有向图，它不容易实现分配不同的学习权重给不同的邻域。 接下来说一下GAT： 2018
图神经网络分享系列-GAT(GRAPH ATTENTION NETWORKS) (二)
最新发布
flying_1314的博客
11-02 970
本文介绍了图注意力网络（GAT）的核心架构及其技术优势。GAT通过引入注意力机制，在计算节点特征时动态分配不同权重，解决了传统图神经网络的一些局限性。文章详细阐述了单图注意力层的实现，包括输入特征转换、注意力系数计算和多头注意力机制。GAT具有计算高效、可并行化、能处理有向图等优点，其时间复杂度与GCN相当。相比现有方法，GAT能隐式分配节点重要性，不依赖全局结构信息，适用于归纳学习任务。文章还探讨了GAT与MoNet模型的关联，并指出了当前实现中的计算优化方向。
大模型简介、时间序列解纠缠、GCN、GAT、MLP、残差分离、GRU、LSTM
weixin_45720999的博客
07-01 1813
LSTM是一种非常强大的时间序列处理网络，它通过引入记忆细胞、输入门、输出门和遗忘门的概念，有效地解决了RNN在处理长序列时存在的长期依赖问题和梯度消失/爆炸问题。在多个领域都有广泛的应用，特别是在处理需要长时间依赖性的任务时，LSTM表现出了优秀的性能。
图注意力网络——Graph attention networks (GAT)
qq_41977459的博客
04-19 2万+
文章目录摘要引言 摘要   图注意力网络，一种基于图结构数据的新型神经网络架构，利用隐藏的自我注意层来解决之前基于图卷积或其近似的方法的不足。通过堆叠层，节点能够参与到邻居的特征，可以(隐式地)为邻域中的不同节点指定不同的权值，而不需要任何代价高昂的矩阵操作(如反转)，也不需要预先知道图的结构。通过这种方法，该模型克服了基于频谱的故神经网络的几个关键挑战，并使得模型适用于归纳和推理问题。在四个数据集上实现或匹配了最先进的结果（Cora, Citeseer, Pubmed citation network,
图注意力网络（GAT， Graph Attention Network）
不断积累不断学习
05-18 2071
（1）图数据具有非欧几里得性质（不满足欧几里得几何公理体系（如平行公设、距离定义等）的空间或结构的特性，传统的CNN难以直接处理，所以图卷积应需而生。（2）图卷积（GCN）通过固定权重聚合邻居信息，无法区分不同邻居的重要性，具有局限性。（3）注意力机质允许模型动态调整各邻居的权重，捕捉重要节点间的交互。
深入理解图注意力机制（Graph Attention Network）
04-21
作为一种代表性的图卷积网络，Graph Attention Network (GAT) 引入了注意力机制来实现更好的邻居聚合。通过学习邻居的权重，GAT 可以实现对邻居的加权聚合。因此，GAT 不仅对于噪音邻居较为鲁棒，注意力机制也赋予了...
【GAT】如何理解Graph Attention Network（注意力机制）？
扬帆·启航
05-12 8030
引入masked self-attentional layers 来对不同的相邻节点分配相应的权重，既不需要矩阵运算，也不需要事先知道图结构。
【ICLR 2018图神经网络论文解读】Graph Attention Networks (GAT) 图注意力模型
捡起一束光的博客
11-06 6211
与GCN类似，GAT同样是一种局部网络。因此，训练GAT模型无需了解整个图结构，只需知道每个节点的邻节点即可。
图注意力网络(Graph Attention Network, GAT) 模型解读与代码实现(tensorflow2.0)
VariableX的博客
12-07 7372
前面的文章，我们讲解了图神经网络三剑客GCN、GraphSAGE、GAT中的两个： 图卷积神经网络(GCN)理解与tensorflow2.0代码实现 GraphSAGE 模型解读与tensorflow2.0代码实现 本要讲的是GAT(Graph Attention Network)，它使用 Attention 机制来对邻居节点进行加权求和，和一般的Attention 机制一样，分为计算注意力系数和加权求和两个步骤。 GAT中的 Attention 机制 先来看看每一层的输入与输出：  inpu
GRAPH ATTENTION NETWORKS
deye1979的专栏
04-08 700
基本就是第一层concatenate，第二层不concatenate. 相关论文： Semi-Supervised Classification with Graph Convolutional Networks Geometric deep learning on graphs and manifolds using mixture model CNNs Con...
【图注意力网络】GAT：Graph Attention Networks
CRW__DREAM的博客
03-03 3412
Graph Attention Networks（图注意力网络）
Graph Attention Networks(图自注意力网络)
小鱼的小窝
07-16 9853
Graph Attention Networks(图自注意力网络)
Graph Attention Networks(GATs)
weixin_65191557的博客
09-05 1205
图注意网络（GATs）是对GCNs的理论改进。GATs提出了一种加权因子，该因子考虑了节点特征的“自我关注”过程，改进了GCNs静态的归一化系数。在本文中，我们将介绍GATs是如何工作的，并将其应用于实例，进一步了解其工作原理。
深入浅出GAT–Graph Attention Networks（图注意力模型）
热门推荐
xiao_muyu的博客
12-07 6万+
深入浅出GAT–Graph Attention Networks（图注意力模型） 文章目录深入浅出GAT--Graph Attention Networks（图注意力模型）1 GAT的诞生2 关于图2.1 图的重要的“两特征”2.2 GCN的局限性3 GAT3.1 Global graph attention3.2 Mask graph attention4 输入浅出GAT4.1 计算注意力系数（attention coefficient）4.2 加权求和（aggregate）5 深入理解强化GAT5.1
Graph Attention Networks
Ying_M
06-10 1114
目录前期简介论文导读论文研究背景、成果及意义研究背景研究成果研究意义论文泛读摘要论文小标题论文精读论文算法模型总览模型的细节消息传递机制(Message Passing)Attention机制Multi-head Attention直推式学习 & 归纳式学习GAT算法实验设置和结果分析论文总结 前期简介 前期知识储备 论文结构 学习目标 论文导读 论文研究背景、成果及意义 研究背景 图像上的卷积操作 In CNN, pixel representation is created by
graph attention network
weixin_47055840的博客
04-19 905
参考博客：Graph Attention Networks学习笔记 - 知乎 (zhihu.com) 在本文中，作者提出了一种基于attention的节点分类网络——GAT。其基本思想是，根据每个节点在其邻节点上的attention，来对节点表示进行更新。GAT具有以下几个特点：（1）计算速度快，可以在不同的节点上进行并行计算；（2）可以同时对拥有不同度的节点进行处理；（3）可以被直接用于解决归纳学习问题，即可以对从未见过的图结构进行处理。Graph Attentional Layer 输入： .
注意力机制代码_深入理解图注意力机制（Graph Attention Network）
06-02
好的，关于注意力机制的代码，我们先来了解一下图注意力机制（Graph Attention Network，简称GAT）。 GAT是一种基于图结构的注意力机制，它在图结构中进行节点分类、图分类等任务时，能够自适应地学习每个节点在...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值