图神经网络学习笔记（一）：graph attention neural network

最新推荐文章于 2024-07-06 20:31:48 发布
最新推荐文章于 2024-07-06 20:31:48 发布
阅读量2.3k 收藏 9
点赞数 2
分类专栏： 图神经网络 神经网咯 tensorflow学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lyd1995/article/details/98451367
版权
本文介绍了图注意力网络GAT，首先讲解了单注意力机制的工作流程，包括特征提取层、Attention layer和隐藏层的细节。接着，概述了多注意力机制，即通过多个单注意力机制计算每个顶点，最终取平均值。
摘要由CSDN通过智能技术生成

论文地址

代码实现（tensorflow）

论文里面实现的GAT网络是多注意力机制的，直接理解起来很困难，这里我们就先从单注意力机制的GAT网络说起。

一、单注意力机制

先来看看单注意力下，GAT网络的工作流程（以代码中的demo为例）：
在这里插入图片描述

上述流程图也可以简化为：
在这里插入图片描述

这里将特征提取层、attention layer与hidden layer（output layer）合并为了一个attn head layer，论文中也明确指出GAT仅仅attn head layer组成。
接下来我们将attn head layer视为一层，来介绍其中每个子层的作用：

1、 特征提取层

这里给出几个符号定义：
（1） F1：表示输入attn head layer的特征向量长度
（2） F2：表示attn head layer输出的特征向量长度
（3） nodes

最低0.47元/天 解锁文章
lyd1995
关注
  • 2
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
the graph neural network model 图神经网络模型
04-26
"图神经网络模型" 图神经网络模型是一种新的神经网络模型，它扩展了现有的神经网络方法来处理图形域中表示的数据。...图神经网络模型是机器学习和深度学习领域中的一个重要模型，具有广泛的应用前景和研究价值。
自然语言处理NLP——图神经网络与图注意力模型（GNN、GCN、GAT）
转载请标明出处，完整项目/代码详见github：https://github.com/yiru1225
12-24 1万+
本篇博客从图神经网络（GNN）的动机与模型，图卷积网络（GCN）的模型详解与公式推导引入，重点介绍图注意力网络（GAT）的目标函数推导，模型解析，并使用不同框架复现GAT论文实验，对比分析结论与论文结果，并在最后补充一定的GAT推广与优化（内附Python代码与数据集）。
原创 | 图注意力神经网络(Graph Attention Networks)综述
数据派THU
07-19 7848
作者：邓杨 本文约6300字，建议阅读10分钟本文根据提出GAT文章Velickovic et al.(2017)中论述的顺序，简单介绍一下GAT的工作原理。数无形时少直觉，形少数时难入微–华罗庚1 图注意力神经网络的介绍1.1GAT的原理与特性图形，由点、线、面和体构成，代表了一种理解抽象概念和表达抽象思想的有效工具。图形语言的优势在于其跨越语言障碍的能力，这种能力和技术大多是人类为了理解世...
图神经网络
最新发布
weixin_54418006的博客
07-06 264
概念：图神经网络（Graph Neural Network, GNN）是一类专门用于处理图数据的神经网络模型，它们能够有效地学习和推断图数据中节点和边的复杂关系。传统的神经网络主要处理向量或矩阵形式的数据，而图神经网络则扩展到了非欧几里得数据结构，如图和网络。目的：整合特征图神经网络通常通过消息传递的方式更新节点的表示。每个节点会从其邻居节点接收信息，然后通过聚合这些信息来更新自己的表示。这种消息传递的过程可以迭代多次，以便节点能够汇聚更多的上下文信息。
【GNN】图注意力网络GAT(含代码讲解)
热门推荐
木盏
03-06 3万+
毫无疑问，图神经网络(Graph Neural Networks)是泛计算机视觉领域内继CNN、GAN、NAS等之后的又一个研究热点，非常powerful。GAT是空域GNN的代表模型，Bengio大佬团队出品，发表在ICLR2018，目前谷歌引用已经1k了。它的特点是，很适合作为上手GNN模型。
图注意力网络GAT
weixin_42764932的博客
01-02 727
图卷积网络的推导 本链接是推导过程 GAT 简而言之，图注意力网络就是将 图的邻接矩阵 模糊化，自适应地模糊化。 流程简单来说就是将经过网络变换得到的样本的新嵌入，两两拼接，输入到网络中，计算注意力系数。 输入数据为X∈RN∗FX\in R^{N*F}X∈RN∗F，FFF是特征维度， NNN是样本数。 输出特征为H∈RN∗fH\in R^{N*f}H∈RN∗f，最终输出为Y∈RN∗CY\in R^{N*C}Y∈RN∗C, CCC为类别总数。 令W∈RF∗fW\in R^{F*f}W∈RF∗f
图神经网络（Graph Neural Networks）简单介绍
百年孤独百年的博客
05-24 1万+
图神经网络（Graph Neural Networks, GNN）是一类用于处理图结构数据的神经网络模型，与传统的神经网络（例如卷积神经网络、循环神经网络等）处理规则数据结构（如图像、时间序列）不同，图神经网络专门处理不规则的图结构数据，如社交网络、知识图谱等。图结构数据是一种由节点和边组成的复杂关系网络，其中节点代表实体，边代表实体之间的关系。与传统的神经网络不同，图神经网络需要考虑节点之间的关系，因此需要一种新的方式来表示节点和边。
GCN：Graph Convolution Network，图卷积网络，PPT资源
07-10
图卷积网络（GCN，Graph Convolution Network）是一种基于深度学习的模型，它扩展了传统的卷积神经网络（CNN）的应用，使得处理非欧几里得数据，特别是图结构数据成为可能。GCN的核心思想是在图上进行卷积操作，以...
Heterogeneous Graph Neural Network（异质图神经网络）
01-20
传统的同构图（Homogeneous Graph）中只存在一种类型的节点和边，当图中的节点和边存在多种类型和各种复杂的关系时，再采用Homo的处理方式就不太可行了。这个时候不同类型的节点具有不同的特征，其特征可能落在不同...
具有分布式在线学习的宽深图神经网络_Wide and Deep Graph Neural Network with Distri
01-22
具有分布式在线学习的宽深图神经网络_Wide and Deep Graph Neural Network with Distributed Online Learning.pdf
图神经网络推荐，graph embedding
12-15
图神经网络（Graph Neural Networks, GNN）是近年来在机器学习领域中兴起的一种重要技术，尤其在推荐系统、社交网络分析、化学分子结构研究等多个领域展现出强大的应用潜力。图embedding则是GNN的一个核心组成部分，...
深入理解图注意力机制（Graph Attention Network）
04-21
图神经网络已经成为深度学习领域最炽手可热的方向之一。作为一种代表性的图卷积网络，Graph Attention Network (GAT) 引入了注意力机制来实现更好的邻居聚合。通过学习邻居的权重，GAT 可以实现对邻居的加权聚合。因此，GAT 不仅对于噪音邻居较为鲁棒，注意力机制也赋予了模型一定的可解释性。
图注意网络GAT理解及Pytorch代码实现【PyGAT代码详细注释】
锵锵锵锵蒋的博客
03-01 9236
对GAT的Pytorch版本PyGAT进行注释，包括Cora数据集的处理和使用！
图神经网络GAT最详细讲解（图解版）
CSDN 精品推荐
11-09 7021
大家好，我是阿光。本专栏整理了《图神经网络》，内包含了不同图神经网络的原理以及相关代码实现，详细讲解图神经网络，理论与实践相结合，如GCN、GraphSAGE、GAT等经典图网络，每一个代码实例都附带有完整的代码+数据集。正在更新中~ ✨。
论文阅读：Recurrent Neural Networks for Time Series Forecasting Current Status and Future Directions
可及的小屋
10-21 999
typora-copy-images-to: ./ Recurrent Neural Networks for Time Series Forecasting: Current Status and Future Directions Abstract 递归神经网络（RNN）已成为竞争性预测方法，已建立的统计模型（例如ETS和ARIMA）不仅因为其准确性高而广受欢迎，而且由于其健壮，高效且自动的特性，也适合非专业用户。我们得出结论，如果数据集中的序列具有均质的季节性模式，则RNN可以直接对季节进行建模.
《Concatenated Attention Neural Network for Image Restoration》阅读笔记
69小石头的博客
10-13 1428
Concatenated Attention Neural Network for Image Restoration 摘要：在本文中，我们提出了用于低级视觉任务的通用框架，包括图像压缩伪像减少和图像去噪。 在此框架下，专门设计了一种新颖的级联注意神经网络（CANet）用于图像恢复。 本文的主要贡献如下：首先，通过应用简洁但有效的级联和特征选择机制，我们建立了一种新颖的连接机制，将模块堆叠网络中的不同模块连接起来。 其次，在每个模块卷积层中都使用了像素级和通道级注意力机制，这促进了图像中更多基本信息的进一
聚焦和增强递归神经网络
CSDN 人工智能
10-09 791
原文： Attention and Augmented Recurrent Neural Networks 译者： KK4SBB 责编：何永灿，关注人工智能，投稿请联系heyc@csdn.net或微信号289416419 递归神经网络是一种主流的深度学习模型，它可以用神经网络模型来处理序列化的数据，比如文本、音频和视频数据。它能把一个序列浓缩为抽象的理解，以此来表示这个序列，乃至...
神经网络注意力机制--Attention in Neural Networks
weixin_33858249的博客
02-26 253
Original url: http://blog.csdn.net/zhangjunhit/article/details/78249184Attention in Neural Networks and How to Use It http://akosiorek.github.io/ml/2017/10/14/visual-attention.html 这篇博文主要介绍神经网络中的注意力机...
Graph Attention Networks——《论文阅读》
李滚滚的博客
12-12 9580
引言 图像，通常被理解为矩阵，矩阵的每个元素是像素，像素是（Red，Green，Blue）三个数值组成的向量。 换个角度，矩阵也可以理解为图谱（Graph），图谱由点（node）和边（edge）组成。相邻的点之间，有边相连。而矩阵是一种特殊的图谱，特殊性表现在两方面： **矩阵每个点有固定个数的邻点。**从图谱的角度看，图像中的像素，就是图谱中的点。图像中每个像素，也就是图谱中的每个点，周边总共...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值