深入理解图注意力机制（Graph Attention Network）

最新推荐文章于 2024-05-31 19:51:37 发布
最新推荐文章于 2024-05-31 19:51:37 发布
阅读量3.1w 收藏 207
点赞数 33
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c9Yv2cf9I06K2A9E/article/details/105548217
版权

©PaperWeekly 原创 · 作者｜纪厚业

学校｜北京邮电大学博士生

研究方向｜异质图神经网络及其应用

介绍

图神经网络已经成为深度学习领域最炽手可热的方向之一。作为一种代表性的图卷积网络，Graph Attention Network (GAT) 引入了注意力机制来实现更好的邻居聚合。通过学习邻居的权重，GAT 可以实现对邻居的加权聚合。因此，GAT 不仅对于噪音邻居较为鲁棒，注意力机制也赋予了模型一定的可解释性。

下图概述了 Graph Attention Network 主要做的事情。

针对节点 和节点 ， GAT 首先学习了他们之间的注意力权重 （如左图所示）；然后，基于注意力权重 来对节点 的表示 加权平均，进而得到节点  的表示 。

深入理解图注意力机制

2.1 非对称的注意权重

首先，介绍下如何学习节点对 之间的注意力值 。很明显，为了计算 ，注意力网络

最低0.47元/天 解锁文章
PaperWeekly
关注
  • 33
    点赞
  • 踩
  • 207
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
GAT，Graph Attention Network，图注意力网络，PPT资源
07-10
图注意力网络（Graph Attention Network，GAT）是一种用于处理图结构数据的神经网络模型。它是由Velickovic等人在2018年提出的，通过注意力机制来对图中的节点进行信息聚合和表示学习。 在传统的图神经网络中，通常使用固定的聚合函数（例如求和或平均）来对节点的邻居进行信息聚合。然而，这种简单的聚合方式无法充分考虑节点之间的关系和重要性。GAT通过引入注意力机制来解决这个问题。 在GAT中，每个节点都有一个特征向量表示，通过学习得到。对于每个节点，GAT会根据其邻居节点的特征向量计算注意力权重，以表征节点之间的关系和重要性。具体而言，GAT使用一个前馈神经网络来计算注意力权重，其中使用了节点特征向量的线性变换。然后，通过对邻居节点的特征向量与注意力权重进行加权平均，可以得到聚合后的节点表示。 GAT中的注意力权重是通过自注意力机制（self-attention）来计算的，可以看作是一种动态地对邻居节点进行加权的方式。通过学习到的注意力权重，GAT能够根据节点自身的特征和邻居节点的重要性来更新节点的表示，从而更好地捕捉图结构中的信息。
图注意力机制神经网络基本原理和代码解读
hei653779919的博客
12-07 1万+
图注意力神经网络基本原理和实现 1、 图神经网络(GNN)综述 1.1、图结构 图是计算机中的一种数据结构，图的基本构成单元是顶点 和边。一个图是由多个顶点和多条边所构成的，对于图中的任意两个顶点，如果两个点之间的边是有方向的边，则称为有向图，如果边没有方向，则称为无向图。 在现实生活中，无论是我们的社交网络和目前非常热门的知识图谱，其抽象的结构都是一个图结构。 1.2 图神经网络(GNN) 图神...
图神经网络：GAT图注意力网络原理和源码解读（tensorflow）
最新发布
2401_85325519的博客
05-31 879
GNN学习的是邻居节点聚合到中心的方式，传统的GNN对于邻居节点采用**求和/求平均**的方式，各个邻居的**权重相等为1** * GCN进行了改造邻居聚合方式为**邻接矩阵做对称归一化**，也是类似求平均，但是它考虑到了节点的度大小，度越大权重往小了修正，是一种避免单节点链接巨量节点导致计算失真的调整方式，仅仅通过**度＋规则**对权重做了修改，而没有考虑到因为节点的影响大小去调整权重的大小。
自然语言处理NLP——图神经网络与图注意力模型（GNN、GCN、GAT）
转载请标明出处，完整项目/代码详见github：https://github.com/yiru1225
12-24 1万+
本篇博客从图神经网络（GNN）的动机与模型，图卷积网络（GCN）的模型详解与公式推导引入，重点介绍图注意力网络（GAT）的目标函数推导，模型解析，并使用不同框架复现GAT论文实验，对比分析结论与论文结果，并在最后补充一定的GAT推广与优化（内附Python代码与数据集）。
【图神经网络】图注意力机制GAT以及Pytorch实现
sxl的博客
04-25 6688
[1]【GNN】GAT：Attention 在 GNN 中的应用 [2]图注意力网络(GAT) ICLR2018, Graph Attention Network论文详解 [3]https://github.com/dmlc/dgl/tree/master/examples/pytorch/gat [4]https://github.com/PetarV-/GAT
图注意力机制
weixin_50557558的博客
07-25 220
图注意力机制
图深度学习入门教程（六）——注意力机制与图注意力
weixin_43672348的博客
04-20 8385
深度学习还没学完，怎么图深度学习又来了？别怕，这里有份系统教程，可以将0基础的你直接送到图深度学习。还会定期更新哦。
图像中的注意力机制详解(SEBlock | ECABlock | CBAM)
热门推荐
weixin_43913124的博客
02-24 7万+
图像中的注意力机制详解 注意力机制目前主要有通道注意力机制和空间注意力机制两种 一、 前言 我们知道，输入一张图片，神经网络会提取图像特征，每一层都有不同大小的特征图。如图1所示，展示了 VGG网络在提取图像特征时特征图的大小变化。 图1 VGG网络特征结构图 其中，特征图常见的矩阵形状为[C,H,W]{[C,H,W]}[C,H,W](图1中的数字为[H,W,C]{[H,W,C]}[H,W,C]格式)。当model在training时，特征图的矩阵形状为[B,C,H,W]{[B,C,H,W]}[B,C,H
【深度学习】--图像处理中的注意力机制
weixin_40293999的博客
02-14 6585
注意力机制是一个非常有效的trick，注意力机制的实现方式有许多。可以在知网上搜索一下yolov下的目标监测的硕士论文，没有一篇不提到注意力机制的迭代修改的，所以很有必要学一下．最后给出了一个例子。注意力机制的本质:就是寻址过程!几种典型的注意力机制:左侧是hard-attention，很极端只觉得某一步时最重要的。要么时0，要么是1， 太专一右侧是soft-attention，对整个encode的结果都觉分配了权重。
2019-KDD-KGAT, Knowledge Graph Attention Network for Recommendat
08-08
总的来说，KGAT模型提供了一种新的视角来理解和改进推荐系统，通过知识图谱的利用和注意力机制的设计，提高了推荐的准确性和多样性，并增强了推荐结果的可解释性。这一研究不仅推动了推荐系统的理论发展，也为实际...
使用门控注意力的图注意力网络.zip
02-06
标题中的“使用门控注意力的图注意力网络”指的是在图神经网络（Graph Neural Networks, GNN）中结合了门控机制（Gated）与注意力机制（Attention）的一种模型...
基于图注意力网络的文本分类.zip
02-06
在自然语言处理（NLP）领域，图注意力网络（GAT，Graph Attention Network）与自注意力机制（Self-Attention）是两种重要的技术，它们在文本分类任务中有着广泛的应用。"基于图注意力网络的文本分类.zip"这个压缩包...
深入理解图注意力机制
小白学视觉
06-20 2552
点击上方“小白学视觉”，选择加"星标"或“置顶”重磅干货，第一时间送达作者丨张昊、李牧非、王敏捷、张峥来源丨https://zhuanlan.zhihu.com/p/57168713编辑 |极市平台图卷积网络(GCN)告诉我们，将局部的图结构和节点特征结合可以在节点分类任务中获得不错的表现。美中不足的是GCN结合邻近节点特征的方式和图的结构依依相关，这局限了训练所得模型...
【intro】图注意力网络（GAT）
Karen_Yu_的博客
05-08 1800
GAT，作用于图结构数据，采用masked self-attention layers来弥补之前图卷积或类似图卷积方法的缺点。通过堆叠layers，让节点可以添加其邻居的特征，我们就可以给不同的邻居节点不同的权重，而这一步操作不需要使用任何昂贵的矩阵计算（比如求逆矩阵），也不需要依赖对图结构的了解。可以很容易地应用于inductive，transductive 问题（归纳、直推）。
原创 | 图注意力神经网络(Graph Attention Networks)综述
数据派THU
07-19 7757
作者：邓杨 本文约6300字，建议阅读10分钟本文根据提出GAT文章Velickovic et al.(2017)中论述的顺序，简单介绍一下GAT的工作原理。数无形时少直觉，形少数时难入微–华罗庚1 图注意力神经网络的介绍1.1GAT的原理与特性图形，由点、线、面和体构成，代表了一种理解抽象概念和表达抽象思想的有效工具。图形语言的优势在于其跨越语言障碍的能力，这种能力和技术大多是人类为了理解世...
【深度学习】图像中的注意力机制简述和代码实现
weixin_44001371的博客
10-27 755
SE注意力机制（Squeeze-and-Excitation Networks）在通道维度增加注意力机制，关键操作是squeeze和excitation。通过自动学习的方式，使用另外一个新的神经网络获取到特征图的每个通道的重要程度，然后用这个重要程度去给每个特征赋予一个权重值，从而让神经网络重点关注某些特征通道。提升对当前任务有用的特征图的通道，并抑制对当前任务用处不大的特征通道。
注意力机制代码_深入理解图注意力机制（Graph Attention Network）
06-02
好的，关于注意力机制的代码，我们先来了解一下图注意力机制（Graph Attention Network，简称GAT）。 GAT是一种基于图结构的注意力机制，它在图结构中进行节点分类、图分类等任务时，能够自适应地学习每个节点在不同邻居节点上所占的重要性，从而更准确地进行分类。下面是一个简单的GAT实现： ```python import torch import torch.nn as nn import torch.nn.functional as F class GraphAttentionLayer(nn.Module): def __init__(self, in_features, out_features, dropout, alpha, concat=True): super(GraphAttentionLayer, self).__init__() self.in_features = in_features self.out_features = out_features self.dropout = dropout self.alpha = alpha self.concat = concat self.W = nn.Parameter(torch.zeros(size=(in_features, out_features))) nn.init.xavier_uniform_(self.W.data, gain=1.414) self.a = nn.Parameter(torch.zeros(size=(2*out_features, 1))) nn.init.xavier_uniform_(self.a.data, gain=1.414) self.leakyrelu = nn.LeakyReLU(self.alpha) def forward(self, h, adj): Wh = torch.mm(h, self.W) a_input = self._prepare_attentional_mechanism_input(Wh) e = self.leakyrelu(torch.matmul(a_input, self.a).squeeze(2)) zero_vec = -9e15*torch.ones_like(e) attention = torch.where(adj > 0, e, zero_vec) attention = F.softmax(attention, dim=1) attention = F.dropout(attention, self.dropout, training=self.training) h_prime = torch.matmul(attention, Wh) if self.concat: return F.elu(h_prime) else: return h_prime def _prepare_attentional_mechanism_input(self, Wh): N = Wh.size()[0] Wh_repeated_in_chunks = Wh.repeat_interleave(N, dim=0) Wh_repeated_alternating = Wh.repeat(N, 1) all_combinations_matrix = torch.cat([Wh_repeated_in_chunks, Wh_repeated_alternating], dim=1) return all_combinations_matrix.view(N, N, 2 * self.out_features) ``` 在这个代码中，我们定义了一个名为GraphAttentionLayer的类，它继承于nn.Module类。在它的__init__方法中，我们定义了一些必要的参数，包括输入特征维度、输出特征维度、dropout率、LeakyReLU函数的负斜率系数以及是否将节点特征与注意力机制的输出进行拼接。W和a是需要学习的参数，其中W是线性变换的权重矩阵，a是注意力机制的权重矩阵。我们使用xavier_uniform_方法对这两个参数进行初始化。 在forward方法中，我们首先将节点特征矩阵h与权重矩阵W相乘，得到Wh。然后，我们通过_prepare_attentional_mechanism_input方法将Wh转换为用于注意力计算的输入矩阵a_input。接着，我们将a_input与注意力权重矩阵a相乘，得到每个节点与其邻居之间的注意力系数e。我们使用LeakyReLU函数将e中的负值裁剪掉。然后，我们对每个节点的邻居节点计算softmax，得到它们之间的注意力权重。我们使用dropout对注意力权重进行随机失活，以防止过拟合。最后，我们将注意力权重与Wh相乘，得到每个节点的新特征h_prime。如果concat参数为True，我们将h_prime与原始节点特征进行拼接并使用ELU函数作为输出；否则，我们直接返回h_prime作为输出。 需要注意的是，这个代码中的实现是基于PyTorch框架的，如果你使用其他的深度学习框架，可能需要做一些调整。同时，这个代码只是GAT的一个简单实现，如果你想深入学习GAT，还需要阅读相关论文并了解更多细节。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值