GCN及其拓展GraphSage、MPNN、GAT

最新推荐文章于 2024-01-28 21:10:30 发布
最新推荐文章于 2024-01-28 21:10:30 发布
阅读量1.2k 收藏 11
点赞数 2
分类专栏： 深度学习模型 AI与药物联合疗法 文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiao_muyu/article/details/122089347
版权
本文详细介绍了GCN的基本原理，包括为何引入度矩阵D的修正。接着，探讨了GraphSage如何通过有效的采样算法减少计算量并增强泛化能力。进一步，解释了MPNN（消息传递神经网络）的概念，并提到了GAT（图注意力网络）如何自动学习节点间的重要性权重，提高了模型的表现。
摘要由CSDN通过智能技术生成

GCN详解

公式：
在这里插入图片描述

  • 考虑将公式进行简化（忽略D），即
    在这里插入图片描述
  • 为什么要引入 D~？

因为不同的节点重要性不一样，因此我们应该引入一种类似于「注意力机制」的东西。具体来说，如果一个节点的「度」非常大，即与他相邻的节点非常多，那么它传递的消息，权重就应该小一点。
在这里插入图片描述
总结：
在这里插入图片描述

GraphSage

在实际问题中，一张图可能节点非常多，因此就没有办法一次性计算整张图（消耗的内存大时间长），所以我们应该使用一种有效的采样算法，从全图 G 中采样出一个子图。

GraphSAGE 主要分两步：采样、聚合

  • 采样：首先选取一个点，然后随

最低0.47元/天 解锁文章
努力AC的潇潇
关注
专栏目录
GCN-GAT-Graphsage
12-28
GCN（Graph Convolutional Network）、GAT（Graph Attention Network）和GraphSAGE是GNN家族中的三种主流模型，它们在节点分类、图分类和链接预测等任务上表现出色。 1. GCN（Graph Convolutional Network）： GCN...
【计算机视觉】Graph Models算法介绍合集（一）
wzk4869的博客
09-17 403
【计算机视觉】Graph Models算法介绍合集（一）
从GNN到GCN(1)--传统GCN和基于空域的MPNN及GraphSage
qq_44015059的博客
03-27 7807
1. 前言 图神经网络的最大优势在于可以处理传统神经网络比如RNN和CNN无法处理的具有复杂结构的数据类型，诸如分子结构化合物特性判断或物理模型模型构建的子任务。同时因为图数据包含十分丰富的关系型信息，可以从文本，图像这些非结构化数据中进行推理学习。 卷积操作作为非常高效的局部特征提取手段如果可以作用于图神经网络可以高效的处理大量关系型信息 2.图卷积的缘起 应用传统卷积的欧氏空间和非欧氏空间的区...
MPNN、GCN、DenseNet blocks之间的关系，GNN中“层”是什么意思？
MOL
01-28 597
GNN中的层的意思是每次消息传递一次就叫一个层，在图神经网络（GNN）中，。在每个层中，每个节点都会与它的直接邻居进行交互，通过这种方式，节点的信息可以传递到其相邻的节点。随着网络深度的增加，通过多个这样的层，节点可以间接接收更远邻居的信息。因此，。例如，在第一层，一个节点的新特征表示将只包括它自己的特征和它的直接邻居的特征。到了第二层，每个节点的表示将进一步整合其邻居的邻居的特征，从而能够捕获到更广泛的图结构信息。这样层层叠加，每个层都在原有的基础上进一步扩大了信息的传递范围。
文档级关系抽取方法总结
CycloneKid的博客
07-20 7580
文章目录文档级关系抽取将关系抽取由句子级扩展到文档级的原因文档级关系抽取数据集DocRED图神经网络图网络结构的分类GCNGP-GNNGraphRelGCNNEoGLSRDyGIE/DyGIE++ 文档级关系抽取 将关系抽取由句子级扩展到文档级的原因 目前大多数关系抽取方法抽取单个实体对在某个句子内反映的关系，在实践中受到不可避免的限制：在真实场景中，大量的关系事实是以多个句子表达的。文档中的多个实体之间，往往存在复杂的相互关系。 以下图为例，就包括了文章中的两个关系事实（这是从文档标注的19个关系事实中采
第十一章：GCN——图卷积神经网络：全面回顾
ADICDFHL的博客
07-15 1959
作为图神经网络模型的一种，图卷积网络模型已成为机器学习和其他相关领域的热门话题，并且已经提出了大量模型来解决不同的问题。在本调查中，我们对图卷积网络这一新兴领域进行了全面的文献综述。具体而言，我们引入了两个直观的分类法，以根据图滤波操作的类型和应用领域对现有工作进行分组。对于每个分类法，我们从独特的角度提供了一些详细的例子。我们还讨论了现有图卷积网络的一些挑战和潜在问题，并提供了一些未来的研究方向。
快速搭建iServer大数据分布式空间分析服务
SuperMap技术控
09-16 2780
一、环境说明 本文档采用单机部署，分析数据则采用共享目录的方式进行，其中8090端口iServer为主节点 - 单机部署 1. 启动2个iServer，端口分别为8090（默认），8091，关闭端口分别为8015（默认），8016 (修改端口在iServer安装目录下/conf/server.xml，修改8090启动端口，8015关闭端口) 2. 准备一份需要分析的数
DGL简单示例，GCN，GAT
最新发布
03-08
在本压缩包中，我们关注的是图神经网络（GNN）相关的学习资源，特别是DGL（Dynamic Graph Library）的应用，包括图卷积网络（GCN）和图注意力网络（GAT）。DGL是一个用于图神经网络的高级库，支持多种深度学习框架，...
GCN与GAT入门的基于pytorch的代码
12-26
GCN是由Kipf和Welling于2016年提出的一种基于图的深度学习模型，它借鉴了卷积神经网络的思想，将卷积操作拓展到非欧几里得数据——图上。GCN通过不断传播节点特征，并结合邻居节点的信息，提取出更高级别的特征表示...
图网络相关论文和代码（gnn gcn graphsage gat gas dgcn sim-gnn）
06-03
2. **GCN（Graph Convolutional Network）**：由Kipf和Welling在2016年提出，GCN是GNN的一个变体，受到卷积神经网络的启发。它通过一个近似局部归一化的过程，对节点特征进行平滑处理，从而获取节点的低维表示。GCN...
GAT-GCN【图神经网络系列code】
03-30
这是GAT-GCN【图神经网络系列code】。知识学习部分可参阅博主的个人主页。
图网络分类以及一些通用框架
Andre_Jan的博客
03-12 2830
图网络分为 递归图神经网络（Recurrent Graph Neural Networks） 图卷积神经网络（Graph Convolution Networks） 图注意力网络（Graph Attention Networks） 图自编码器（Graph Auto-encoder） 图时空网络（Graph Spatial-Temporal networks） 图生成网络（Graph Generative Networks） 图强化学习（Graph Reinforcement Learning） 图对抗
图神经网络（一）：综述
u013010473的博客
08-04 6332
图神经网咯综述
GCN, GAT, GraphSAGE对比【整理】
Kadima08的博客
04-09 8216
GCN, GAT, GraphSAGE对比123456 1 gcn 增加深度会降低模型效果主要是因为过度平滑的问题。 现在解决这个问题的方法主要就是 skip-connection 的方法，其中包括你说的残差网络。这方面推荐你几篇论文: 1.DeepGCNs: Can GCNs Gobas Deep as CNNs? 这篇论文主要讨论了 GCN 的深度问题，文中才用了 ResGCN，DenseGCN 和 Dilation 等方法，最后效果比较明显。网络层数可以达到 56 层，并且有 3.7 个点的提升。 2
三大图网络自学总结（GAT、GraphSAGE、GCN）+RGCN
weixin_44630230的博客
10-08 4088
此内容作为补充内容 图神经网络目的都是为了学习节点的embedding，其embedding能表示节点之间的关系 模型输入为 节点x特征表示，邻接矩阵A 输出为节点新的特征 一、GAT GAT模型提出了注意力机制，汇聚邻居节点时考虑不同的权重，适用于直推式和归纳式。 直推式：所有的节点和边都是已知的 归纳式：对未知的节点和边有学习能力，新加入的节点可以进行节点分类。 使用多头注意注意力机制 二、GraphSAGE 原文题目：大规模网络的归纳式学习 特点： 1.汇聚（aggreg.
图神经网络通用框架 —— MPNN消息传递神经网络
CSDN 精品推荐
11-09 2494
大家好，我是阿光。本专栏整理了《图神经网络》，内包含了不同图神经网络的原理以及相关代码实现，详细讲解图神经网络，理论与实践相结合，如GCN、GraphSAGE、GAT等经典图网络，每一个代码实例都附带有完整的代码+数据集。正在更新中~ ✨。
【论文解读 ICLR 2020 | 图上的预训练】STRATEGIES FOR PRE-TRAINING GRAPH NEURAL NETWORKS
byn12345的博客
04-01 3727
论文题目：STRATEGIES FOR PRE-TRAINING GRAPH NEURAL NETWORKS 论文来源：ICLR 2020 论文链接：https://openreview.net/forum?id=HJlWWJSFDH&noteId=HJlWWJSFDH 代码链接：https://github.com/snap-stanford/pretrain-gnns/ 关键词：GN...
论文学习笔记：GraphSAGE
weixin_40675092的博客
06-27 437
本文介绍一个inductive node embedding的框架——GraphSAGE。算法与其他transductive learning方法的优势在于，学习一系列能够聚合邻居节点特征，生成中心节点表示的aggregator。而不是只学习当前训练集的node embedding。所以模型可以很好的推广到新的graph上。算法在citation和Reddit数据集上取得了art of state的表现。并且在模型在完全没见过的图数据上表现出不错的泛化能力。 一、GraphSAGE 回顾原始 GCN，每层.
在图上发送消息的神经网络MPNN简介和代码实现
deephub
10-11 8300
欢迎来到图神经网络的世界，在这里我们在图上构建深度学习模型。你可以认为这很简单。毕竟，我们难道不能重用使用正常数据的模型吗? 其实不是。在图中所有的数据点(节点)是相互连接的。这意味着数据不再是独立的，这使得大多数标准的机器学习模型毫无用处，因为它们的推导都强烈地基于这个假设。为了克服这个问题，可以从图中提取数字数据，或者使用直接对这类数据进行操作的模型。 创建直接在图上工作的模型更为理想，因为我们可以获得更多关于图的结构和属性的信息。在本文中，我们将研究一种专门为此类数据设计的架构，即消息传递神经网络(
GCN、GraphSage、GAT区别
03-14
GCN、GraphSage、GAT都是图神经网络中常用的模型，它们的区别主要在于图卷积层的设计和特征聚合方式。GCN使用的是固定的邻居聚合方式，GraphSage使用的是采样邻居并聚合的方式，而GAT则是使用了注意力机制来聚合邻居...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值