图注意力网络到底讲了什么（草履虫都能看得懂）

已于 2024-05-21 22:46:33 修改
阅读量406 收藏 4
点赞数 11
分类专栏： 深度学习 文章标签： 人工智能 深度学习
于 2024-05-21 22:45:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37040743/article/details/139103631
版权

假设我们有四个数据

同时这些样本直接具有联系，我们使用图和邻接矩阵给出它们的联系。

我们都知道注意力机制会得到注意力系数。代表每个样本之间的相似性。

了解注意力机制可以看看这篇文章

图注意力网络就是为了利用样本之间的联系来简化注意力系数矩阵，使他不要关注那些不重要的信息。

方案一

这个时候需要利用前面的邻接矩阵来调整这个注意力系数矩阵，给注意力系数矩阵的对应位置乘上邻接矩阵，就能屏蔽掉那些没有必要的注意力系数了。

方案二

也可以对邻接矩阵取反，乘以很大的负数加到注意力系数上面，因为最终注意力系数矩阵要经过softmax层。

softmax函数，单独看分子，当x是一个很大的负数时，就接近于0

赵药师
关注
  • 11
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
图神经网络实战（8）——图注意力网络(Graph Attention Networks, GAT)
盼小辉丶的博客
04-22 3110
图注意力网络 (Graph Attention Networks, GAT) 是对图卷积网络 (Graph Convolutional Network, GCN) 的改进，提出了一种通过自注意力 (self-attention) 过程计算的加权因子，而不是使用静态的归一化系数。在本节中，我们介绍了 GAT 架构。通过从线性变换到多头注意力的四个主要步骤，了解了 GAT 的工作原理，并在 NumPy 中从零开始构建了 GAT 层。最后，将 GAT 模型应用于 Cora 和 CiteSeer 数据集。
图注意力网络——Graph attention networks (GAT)
qq_41977459的博客
04-19 2万+
文章目录摘要引言 摘要   图注意力网络，一种基于图结构数据的新型神经网络架构，利用隐藏的自我注意层来解决之前基于图卷积或其近似的方法的不足。通过堆叠层，节点能够参与到邻居的特征，可以(隐式地)为邻域中的不同节点指定不同的权值，而不需要任何代价高昂的矩阵操作(如反转)，也不需要预先知道图的结构。通过这种方法，该模型克服了基于频谱的故神经网络的几个关键挑战，并使得模型适用于归纳和推理问题。在四个数据集上实现或匹配了最先进的结果（Cora, Citeseer, Pubmed citation network,
原创 | 图注意力神经网络(Graph Attention Networks)综述
数据派THU
07-19 7478
作者：邓杨 本文约6300字，建议阅读10分钟本文根据提出GAT文章Velickovic et al.(2017)中论述的顺序，简单介绍一下GAT的工作原理。数无形时少直觉，形少数时难入微–华罗庚1 图注意力神经网络的介绍1.1GAT的原理与特性图形，由点、线、面和体构成，代表了一种理解抽象概念和表达抽象思想的有效工具。图形语言的优势在于其跨越语言障碍的能力，这种能力和技术大多是人类为了理解世...
图神经网络与图注意力网络
金戈鐡馬
11-23 558
随着计算机行业和互联网时代的不断发展与进步，图神经网络已经成为人工智能和大数据的重要研究领域。图神经网络是对相邻节点间信息的传播和聚合的重要技术，可以有效地将深度学习的理念应用于非欧几里德空间的数据上。本期推送围绕图神经网络与图注意力网络相关知识进行概述。
图神经网络13-图注意力模型GAT网络详解
yanqianglifei的专栏
05-30 3837
论文链接：https://arxiv.org/abs/1710.10903 tensorflow代码版本： https://github.com/PetarV-/GAT keras代码版本：https://github.com/danielegrattarola/keras-gat pytorch代码版本：https://github.com/Diego999/pyGAT 边预测任务: https://github.com/raunakkmr/GraphSAGE-and-GAT-for-link-pred.
自然语言处理NLP——图神经网络与图注意力模型（GNN、GCN、GAT）
转载请标明出处，完整项目/代码详见github：https://github.com/yiru1225
12-24 1万+
本篇博客从图神经网络（GNN）的动机与模型，图卷积网络（GCN）的模型详解与公式推导引入，重点介绍图注意力网络（GAT）的目标函数推导，模型解析，并使用不同框架复现GAT论文实验，对比分析结论与论文结果，并在最后补充一定的GAT推广与优化（内附Python代码与数据集）。
水体常见8类微生物（显微+动画图片）数据集（这是变形虫、草履虫、细菌、水螅等微生物的图像数据）
12-20
水体常见8类微生物（显微+动画图片）数据集（这是变形虫、草履虫、细菌、水螅等微生物的图像数据） 水体常见8类微生物（显微+动画图片）数据集（这是变形虫、草履虫、细菌、水螅等微生物的图像数据） 水体常见8类...
60[thinsp]Hz 磁场对草履虫行为的影响
06-29
Effect of a 60[thinsp]Hz magnetic field on the behavior of Paramecium Bioelectromagnetics 21:584^588 (2000) Effect of a 60 Hz Magnetic Field on the Behavior of Paramecium Yasuo Nakaoka,1* Kikuo ...
草履虫的类中间纤维 以免疫学方法进行的初步研究 (2001年)
05-13
以抗中间纤维蛋白抗体作为探针进行免疫荧光实验 ,得到细胞内不同部位的阳性反应 ,暗示原生质中可能存在类中间纤维。这些同源蛋白的胞内分布具有...以上实验初步表明 ,草履虫细胞内存在高等生物中间纤维蛋白的同源蛋白。
64观察草履虫.ppt
12-01
64观察草履虫.ppt
草履虫的分裂繁殖.ppt
01-19
草履虫的分裂繁殖.ppt
机器学习笔记 - 什么是图注意力网络？
学以致用 知行合一
05-10 7679
顾名思义，图注意力网络是图神经网络和注意力层的组合。要理解图注意力网络，我们首先需要了解什么是注意力层和图神经网络。首先，我们将看一下对图神经网络和注意力层的基本理解，然后我们将重点介绍两者的结合。让我们看一下图神经网络。 图神经处理是数据科学和机器学习领域研究的热点之一，因为它们具有通过图数据进行学习并提供更准确结果的能力。各种研究人员开发了各种最先进的图神经网络。图注意力网络也是一种将注意力机制应用于自身的图神经网络。
Graph Attention Networks(图自注意力网络)
小鱼的小窝
07-16 8470
Graph Attention Networks(图自注意力网络)
【GNN】图注意力网络
qq_38904659的博客
01-31 601
推文链接：【GNN】图注意力网络 GAT GAT (Graph Attention Network) 是一种基于图结构数据的新型神经网络结构，利用隐藏的自我注意层来解决以前基于图卷积或其近似方法的缺点。通过叠加层，节点能够参与其邻域的特征，该方法允许 (隐式地) 为邻域的不同节点指定不同的权重，而不需要任何类型的昂贵的矩阵操作或依赖于预先了解图结构。通过这种方式，GAT 同时解决了基于频谱的图神经网络的几个关键挑战，并使模型易于适用于归纳和转导问题。 从图卷积网络 (GCN) 中，我们了解到，将局部图结构
图注意力网络（GAT）
热门推荐
qq_45836365的博客
02-02 2万+
一、图数据结构知识 图是指一系列相互连接的节点，且每个节点自己也具有一定的特征。如下图所示即一个典型的图结构。 该图一共有五个结点，每个结点有自己的特征Fi.另一方面，为了描述图的结构特点，常用邻接矩阵A和度矩阵D.其中，对于一个N个结点的图来说，邻接矩阵A为一个大小为N*N的对称矩阵，若两个结点i，j直接有连接，则Aij=Aji=1，否则为0.度矩阵D大小同样，除对角线上，其余位置的值均为0，Dii的值为与结点i直接连接的结点的数目。实际处理中还存在一种常见的矩阵拉普拉斯矩阵L，L=D-A。 二、图注
图神经网络 | (8)图注意力网络(GAT)
sdu_hao的博客
02-24 1万+
本篇博客要介绍的是图注意力网络(Graph Attention Networks,GAT)[1],它通过注意力机制(Attention Mechanism)来对邻居节点做聚合操作,实现对不同邻居权重的自适应分配（GCN中不同邻居的权重是固定的，来自归一化的拉普拉斯矩阵）,从而大大提高了图神经网络模型的表达能力。 注意力机制 DNN中的注意力机制是受到认知科学中人类对信息处理机制的启发而产生的。由于...
【intro】图注意力网络（GAT）
最新发布
Karen_Yu_的博客
05-08 1717
GAT，作用于图结构数据，采用masked self-attention layers来弥补之前图卷积或类似图卷积方法的缺点。通过堆叠layers，让节点可以添加其邻居的特征，我们就可以给不同的邻居节点不同的权重，而这一步操作不需要使用任何昂贵的矩阵计算（比如求逆矩阵），也不需要依赖对图结构的了解。可以很容易地应用于inductive，transductive 问题（归纳、直推）。
GAT-图注意力网络
2301_78731684的博客
12-09 3629
图神经网络（Graph Neural Network，简称GNN）是一种用于处理图结构数据的神经网络模型。与传统的神经网络模型不同，GNN能够直接对图结构数据进行学习和推理。通过对节点之间的关系和特征信息进行捕捉和传递，GNN能够实现对图结构数据的深度分析和挖掘。在GNN中，节点之间的关系和特征信息可以通过邻居节点之间的信息传递来共享。这种信息传递的过程可以通过卷积运算来实现。具体来说，GNN通过对邻居节点的特征信息进行聚合，得到当前节点的特征信息。
Java DateTimeFormatter.ofPattern用的什么设计模式
06-03
`DateTimeFormatter.ofPattern` 方法使用的是工厂方法设计模式。在这个方法中，`DateTimeFormatter` 类充当了工厂类，用于创建和返回新的 `DateTimeFormatter` 对象。这种设计模式的优点在于可以将对象的创建和使用...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

赵药师

嘿嘿嘿

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值