论文解读7——Graph Attention Networks（GAT）

最新推荐文章于 2024-05-31 19:51:37 发布
最新推荐文章于 2024-05-31 19:51:37 发布
阅读量1.3k 收藏 6
点赞数
分类专栏： 论文解读 文章标签： 深度学习 人工智能 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47133012/article/details/125763876
版权

目录


在这里插入图片描述

1、文章贡献

提出了图注意力网络GAT，通过引入注意力机制计算出每个节点和与之相关联节点间的重要性系数，从而解决GCN中对每个节点同等重要的问题。

2、GAT优点

1.可以通过注意力机制根据与节点相关的不同特征去分配不同的权重
2.可以作用在有向图上（原先GCN中的拉普拉斯矩阵要想特征分解依赖于无向图计算出的对称阵）
3.计算效率更高，注意力机制在输入上可以实现并行化（不用再像GCN特征分解了）

而且GAT是空域上的模型，GCN是谱域的，一开始纠结GAT改进后的式子怎么没卷积了，看了半天好吧是我傻了，还是再理解理解注意力机制

3、GAT结构

  • 输入特征
    在这里插入图片描述
  • 输出特征
    在这里插入图片描述
  • 计算注意力系数（将输入特征线性变换后执行self-attention机制）
    在这里插入图片描述
    将上述算出的系数通过softmax归一化操作（结果在0,1间更容易比较）
    在这里插入图片描述
    通过非线性层后计算的注意力系数
    在这里插入图片描述
    将计算的系数跟对应的特征相乘求和后通过非线性变换得到输出特征
    在这里插入图片描述
  • 上面整体的结构图
    在这里插入图片描述

为了让自注意力过程更加稳定，文中参考2017年那篇attention is all you need中的多头注意力机制对多个独立的注意力进行拼接

  • 下面就是将k个独立的注意力机制拼接的公式（其中 || 是拼接的符号）
    在这里插入图片描述
  • 文中说跟拼接相比，还是求k个平均更有意义
    在这里插入图片描述
  • multi-head attention的结构图如下
    这里不同颜色的连接符号代表的是多个不同的head，图上k=3 heads，将每个头的聚合特征拼接或取平均得到输出特征
    在这里插入图片描述

说实话当看到文中这部分的时候还是有点蒙，感觉只是讲了讲公式的作用并没有说清楚背后的运算是咋来的，就比如 self-attention和 multi-head attention当时就是没搞懂，后来看了transformer那篇原文、看了很多关于注意力机制的博客和b站李宏毅老师的讲解，开始有点弄明白了，关于注意力机制的理解就写在另一篇博客上了
论文解读8——Attention Is All You Need

对流层的酱猪肘
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
图神经网络——图注意力网络（GAT）原始论文与源码
10-13
图神经网络——图注意力网络（GAT）原始论文与源码
GAT论文理解
Rising_shit的博客
06-22 1261
GAT论文理解 文章目录GAT论文理解零、背景一、模型结构1.1 全连接层1.2 attention的计算1.3 邻居信息的聚合1.4 多头注意力机制二、一点想法三、引用 零、背景 传统的GCN难以解决Inductive的问题，也就是说如果有新点，则需要通过重构的方式来进行。 而且呢，基于谱的方法比较晦涩难懂，但是作者提出的基于Attention的GNN则写得非常的直观易懂，且做法也简单，有一种我上我也行的感觉，主要是结果还很好[1]。 本篇文章的前两页也很细致的回顾了图卷积的背景与经典方法，如基于谱的经
图神经网络：GAT图注意力网络原理和源码解读（tensorflow）
最新发布
2401_85325519的博客
05-31 862
GNN学习的是邻居节点聚合到中心的方式，传统的GNN对于邻居节点采用**求和/求平均**的方式，各个邻居的**权重相等为1** * GCN进行了改造邻居聚合方式为**邻接矩阵做对称归一化**，也是类似求平均，但是它考虑到了节点的度大小，度越大权重往小了修正，是一种避免单节点链接巨量节点导致计算失真的调整方式，仅仅通过**度＋规则**对权重做了修改，而没有考虑到因为节点的影响大小去调整权重的大小。
论文解读：GAT
weixin_45679778的博客
02-09 324
GAT论文解读
Graph attention networks (GAT)论文解析
垃圾就应该待在垃圾桶里的博客
01-03 2149
研究报告 论文：Graph attention networks (GAT) 针对图结构数据，本文提出了一种GAT（graph attention networks）网络。在GAT中，图中的每个节点可以根据其邻居节点的特征，为其分配不同的权值。而且不需要昂贵的矩阵运算，或者依赖预先知道的图结构。 Graph Architecture (Graph attention layer) 和所有的att...
GAT原论文阅读笔记
hxhabcd123的博客
08-08 1246
本文记录阅读GAT原论文《GRAPH ATTENTION NETWORKS》的笔记，方便后续查阅。
GRAPH ATTENTION NETWORKS
03-14
《GRAPH ATTENTION NETWORKS》这篇论文提出了图注意力网络（Graph Attention Networks, GAT），这是一种针对图数据的深度学习模型，其核心在于引入了注意力机制来处理节点间的关系。PyGAT是该论文的PyTorch实现，它...
pyGAT(graph attention networks)图自注意网络pytorch版本代码
02-28
GAT(graph attention networks)图自注意网络：1，使用了attention机制来描述邻接节点对于节点的重要性；2，采用邻接矩阵作为mask；3，引入了attention heads，即K，以扩展attention机制的channel;
深入理解图注意力机制（Graph Attention Network）
04-21
作为一种代表性的图卷积网络，Graph Attention Network (GAT) 引入了注意力机制来实现更好的邻居聚合。通过学习邻居的权重，GAT 可以实现对邻居的加权聚合。因此，GAT 不仅对于噪音邻居较为鲁棒，注意力机制也赋予了...
graph embedding相关论文整理
07-08
7. GAT (Graph Attention Networks)：Veličković等人在2018年引入了注意力机制，允许模型在聚合邻居信息时动态地分配权重，提高了模型的表达能力。 这些算法各有特点，适用于不同的应用场景。例如，DeepWalk和...
pytorch-GAT：我对原始GAT论文的实施（Veličković等）。 另外，我还包括了用来查看Cora数据集，GAT嵌入，注意力机制和熵直方图的sparkle.py文件。 我也会尽快添加一个归纳示例（PPI）
02-05
GAT-图注意力网络（PyTorch） :laptop: +图形+ :megaphone: = :red_heart: 此回购包含原始GAT论文的PyTorch实现（ :link: ）。 它的目的是简化一般的GAT和GNN的玩法和学习。 目录 什么是GNN？ 图神经网络是一系列神经网络，它们处理图上定义的信号！ 图可以建模许多有趣的自然现象，因此您会发现它们在以下任何地方都得到了使用： 计算生物学-预测强效 计算药理学-预测 流量预测-例如在 推荐系统（用于 ， ， 等） 一直到大型强子对撞机，和列表不断出现！ GAT是空间（卷积）GNN的代表。 由于CNN在计算机视觉领域取得了巨大的成功，因此研究人员决定将其概括为图形，因此我们
（python）论文“时变转速下基于改进图注意力网络的轴承半监督故障诊断”源码
05-23
（python）论文“时变转速下基于改进图注意力网络的轴承半监督故障诊断”源码
图注意力神经网络(GAT)深度解析--论文+源码
AJUEJIANGWONIU的博客
04-19 2619
文章目录前言1 资源下载链接2 论文解析3 源码详解(TensorFlow 版) 前言 图神经网络(GNN)从大的线路可以划分为频域和空间域。频域的代表是图卷积神经网络(GCN),下一篇博文会介绍。在空间域方面，GAT作为经典的空间域GNN的代表模型，适合初入GNN的学者学习。空间域的GNN容易理解，不需要高深的数学推导，从整体思想上很容易把握。这篇文章是Bengio大佬团队出品，发表在ICLR2...
论文笔记: 图神经网络 GAT
minfanphd的博客
07-04 775
摘要: 分享对论文的理解. 原文见 Petar Velickovic, Guillem Cucurull, Arantxa Casanova, Adriana Romero, Pietro Lio, Yoshua Bengio, Graph attention networks, ICLR 2018, 1--12. 可以在 ArXiv: 1710.10903v3 下载. 完全难以估计影响力有多大!......
GAT图注意力网络论文源码pytorch版超详细注释讲解！！！
热门推荐
ZJF的博客
07-09 2万+
此代码是在GCN源码基础上更改的，代码十分相似，可先参考GCN源码超详细解析. 数据集介绍 cora数据集. utils.py import numpy as np import scipy.sparse as sp import torch ''' 先将所有由字符串表示的标签数组用set保存，set的重要特征就是元素没有重复， 因此表示成set后可以直接得到所有标签的总数，随后为每个标签分配一个编号，创建一个单位矩阵， 单位矩阵的每一行对应一个one-hot向量，也就是np.identity(len(c
GAT论文阅读笔记-源码解读
xueliang
01-07 612
图注意力网络 论文：GRAPH ATTENTION NETWORKS. ICLR 2018
图注意力网络_图注意力网络一作：图表征学习在算法推理领域的研究进展
weixin_39564831的博客
11-23 93
机器之心整理演讲者：Petar Veličković整理：Racoon、张倩这是一份来自 DeepMind 研究员、图注意力网络一作 Petar Veličković 的演讲，他为我们介绍了图表征学习在算法推理领域的研究进展。Veličković 指出，算法推理是图表征学习的一个令人激动的新领域，他希望自己的这次演讲能够吸引更多的人了解或关注这个领域，为该领域的研究贡献一份力量。前段时间，图注意力...
Graph Attention Networks(图自注意力网络)
小鱼的小窝
07-16 8533
Graph Attention Networks(图自注意力网络)
[论文分享]图注意力网络Graph Attention Networks
m0_37412775的博客
07-24 226
本文展示了一个图注意力网络(graph attention networks, GATs)，一个新颖的神经网络结构，其在图结构数据上操作，利用了masked self-attentional layers以解决基于图卷积或其近似的现有方法的缺点。通过堆叠那些。
Graph Attention Networks（GAT）代码示例
05-26
以下是使用PyTorch实现GAT的代码示例： ``` python import torch import torch.nn as nn import torch.nn.functional as F class GATLayer(nn.Module): def __init__(self, in_dim, out_dim): super(GATLayer, self).__init__() self.in_dim = in_dim self.out_dim = out_dim self.W = nn.Parameter(torch.zeros(size=(in_dim, out_dim))) self.a = nn.Parameter(torch.zeros(size=(2*out_dim, 1))) nn.init.xavier_uniform_(self.W.data, gain=1.414) nn.init.xavier_uniform_(self.a.data, gain=1.414) def forward(self, h, adj): Wh = torch.mm(h, self.W) a_input = self._prepare_attentional_mechanism_input(Wh) e = F.leaky_relu(torch.matmul(a_input, self.a).squeeze(2)) zero_vec = -9e15*torch.ones_like(e) attention = torch.where(adj > 0, e, zero_vec) attention = F.softmax(attention, dim=1) h_prime = torch.matmul(attention, Wh) return h_prime def _prepare_attentional_mechanism_input(self, Wh): N = Wh.size()[0] Wh_repeated_in_chunks = Wh.repeat_interleave(N, dim=0) Wh_repeated_alternating = Wh.repeat(N, 1) all_combinations_matrix = torch.cat([Wh_repeated_in_chunks, Wh_repeated_alternating], dim=1) return all_combinations_matrix.view(N, N, 2*self.out_dim) class GAT(nn.Module): def __init__(self, n_feat, n_hid, n_class, dropout, alpha, n_heads): super(GAT, self).__init__() self.dropout = dropout self.attentions = [GATLayer(n_feat, n_hid) for _ in range(n_heads)] for i, attention in enumerate(self.attentions): self.add_module('attention_{}'.format(i), attention) self.out_att = GATLayer(n_hid*n_heads, n_class) self.alpha = alpha def forward(self, x, adj): x = F.dropout(x, self.dropout, training=self.training) x = torch.cat([att(x, adj) for att in self.attentions], dim=1) x = F.dropout(x, self.dropout, training=self.training) x = F.elu(self.out_att(x, adj)) return F.log_softmax(x, dim=1) ``` 在此示例中，我们实现了一个包含多头注意力机制的GAT模型。其中，GATLayer是GAT的核心组件，每个GATLayer都包含一个注意力头。在GAT模型中，我们将多个注意力头的输出连接在一起，再通过一个输出层进行分类。在forward函数中，我们首先对输入进行dropout，然后通过多个GATLayer进行特征提取，最后通过输出层进行分类并使用log_softmax进行预测。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值