图神经网络（7）- GNN通用框架

已于 2022-03-20 16:34:47 修改
阅读量872 收藏 8
点赞数
分类专栏： GNN 文章标签： 神经网络 深度学习 机器学习
于 2022-03-07 21:14:20 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44689178/article/details/123334408
版权
本文深入探讨了图神经网络（GNN）的通用框架，包括GCN、GraphSAGE和GAT。GCN通过节点度标准化进行信息传递和聚合，而GraphSAGE引入了两层聚合策略。GAT则通过注意力机制赋予节点间不同的权重，使得模型能更好地捕捉节点间的关系。多头注意力机制增强了模型的稳定性。这些技术在图数据的分析和处理中有着广泛的应用。
摘要由CSDN通过智能技术生成

目录

图神经网络通用框架

 

从GCN到GraphSAGE,GAT

摘要： 介绍GNN通用框架，从GCN到GraphSAGE,GAT

图神经网络通用框架

开始，先介绍一个通用的图神经网络GNN框架。你会发现，这个框架与之前讲的GCN非常相似。

首先，一个图神经网络层定义为:信息传递+聚集

不同的message与aggregation操作组合就是不同图神经网络。

然后，将不同GNN层连接起来，就和其他CNN或者MLP一样

可以对图进行增强。既可以增强图的特征也能增强图的结构。譬如说，GNN的输入数据不直接用图的节点特征，而是经过编码器处理后再输入。

 最后，通过学习的目标函数，去训练GNN。

 

从GCN到GraphSAGE,GAT

之前已经提过了，通过对message和aggregation的改进，就可以得到不同类型的图神经网络。

首先，先看看GCN的message和aggregatation是什么样子的。

GCN的message操作就是：乘以权重矩阵，并用节点度做标准化。

 下面看一下，GraphSAGE。

 按照message和aggregation的思路去看，graphSAGE（Graph SAmple and aggreGatE）有两层aggregation。

声明：这个地方主要是以message和aggregation的思路去看，模型的具体细节参考。GraphSAGE: 算法原理，实现和应用https://zhuanlan.zhihu.com/p/79637787

下面再看一下，GAT。

 在GCN中α=1/|degree of v|，在对v的邻居节点求和，其实就相当于把每个节点看得同样重要，每个节点的权重是1/|degree of v|，和为1。如α不再取固定值，而是根据邻居节点的重要性不同而改变，那么这就是GAT。

下面的问题就是，周末求这个参数α（重要性）呢？

课程里面给的计算方法如下：

 

 总结一下GAT：

首先，用权重矩阵W乘以u和v节点的上一层嵌入值，然后连接起来放进一个linear（其实就是把连接起来的数据再乘以一个新的可以训练的权重矩阵W，也就是说通过这个W来得到不同的权重值），为了算出来的α的和为1，再用softmax算一下。为了得到的α够稳定，再采取多头注意力机制（其实就是不相互影响的多算几次，取总体）。

注意力机制的优点:

山、、、
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
图神经网络实战（12）——图同构网络(Graph Isomorphism Network, GIN)
盼小辉丶的博客
06-06 2694
图同构网络 (Graph Isomorphism Network, GIN) 架构受 WL 测试启发而设计的，其表达能力与 WL 测试相近，因此在严格意义上比 GCN、GAT 或 GraphSAGE 更具表达能力。在本节中，将这一架构用于图分类任务，介绍了将节点嵌入融合到图嵌入中的不同方法，GIN 通过连接求和运算符和每个 GIN 层产生图嵌入，其性能明显优于通过 GCN 层获得的经典全局均值池化。最后，我们将两个模型的预测结果进行简单的集成，从而进一步提高了准确率。
Python-图形神经网络GNN
08-11
**图形神经网络（GNN）概述...总结，Python-图形神经网络GNN是一个强大的工具，能够处理复杂的图数据，尤其在分子科学和网络分析中有广泛应用。通过不断的研究和发展，GNN将继续拓展其在机器学习和数据科学领域的边界。
【图神经网络】10种常用的图神经网络框架对比分析
小哲的博客
03-17 4020
图神经网络（Graph Neural Network）算法是将深度神经网络的运算(如卷积、梯度计算)与迭代图传播结合在一起：每个顶点的特征都是由其邻居顶点的特征结合一组深度神经网络来计算。
图神经网络的基本结构
1+1=王的博客
06-20 2547
特征矩阵则描述了节点的特征信息，是一个 n×d 的二维矩阵，其中 d 表示节点特征的维度，每行表示一个节点的特征向量。具体来说，它采用了一种类似于聚合池化的方式，将当前节点所在的子图中的所有节点向量拼接起来，然后通过一个神经网络模型（通常是多层感知机）来进行转换，并将转换后的结果作为当前节点的新特征表示。需要注意的是，不同类型的图神经网络可能具有不同的节点嵌入和图卷积设计，例如，GCN使用拉普拉斯矩阵和傅里叶变换来进行图卷积，而GAT使用注意力机制来融合不同节点之间的信息。
图神经网络通用框架 —— MPNN消息传递神经网络
CSDN 精品推荐
11-09 2432
大家好，我是阿光。本专栏整理了《图神经网络》，内包含了不同图神经网络的原理以及相关代码实现，详细讲解图神经网络，理论与实践相结合，如GCN、GraphSAGE、GAT等经典图网络，每一个代码实例都附带有完整的代码+数据集。正在更新中~ ✨。
图神经网络框架-PyTorch Geometric(PyG)的使用及踩坑
机器学习社区
11-20 9581
PyG(PyTorch Geometric)是一个基于PyTorch的图神经网络框架，建议先了解PyTorch的使用再学习PyG,要不然看不懂。本文内容角度，喜欢本文点赞支持、欢迎收藏学习。 PyG包含图神经网络训练中的数据集处理、多GPU训练、多个经典的图神经网络模型、多个常用的图神经网络训练数据集而且支持自建数据集，主要包含以下几个模块 torch_geometric:主模块 torch_geometric.nn：搭建图神经网络层 torch_geometric.data:图结构数据的表示
图神经网络实战（1）——图神经网络(Graph Neural Networks, GNN)基础
热门推荐
盼小辉丶的博客
01-02 5万+
本节全面介绍了图神经网络 (Graph Neural Network, GNN) ，包括其在数据分析和机器学习中的重要性。首先探讨了图作为数据表示的相关概念及其在各个领域的广泛应用；然后深入探讨图学习的重要性，包括不同的应用和技术。最后，重点介绍了 GNN 架构，并对比了它与其他方法之间的原理和性能差异。
图神经网络课程PPT.zip
12-02
图神经网络（Graph Neural Networks, GNN）是深度学习领域中的一个重要分支，它专注于处理非欧几里得数据，特别是图结构数据。本课程PPT深入探讨了这一主题，为理解GNN的基本概念、原理以及在实际应用中的作用提供了...
图神经网络实战课程分享
08-31
图神经网络（Graph Neural Networks, GNN）是深度学习领域中的一个重要分支，它专注于处理非欧几里得数据，如社交网络、化学分子结构、交通网络等。在本实战课程中，我们将深入探讨GNN的基本原理，以及如何利用它们...
SYNTHETICnew数据集 图神经网络
最新发布
05-31
图神经网络（Graph Neural Networks, GNN）是深度学习领域中的一个重要分支，专门处理图结构数据。在给定的“SYNTHETICnew数据集”中，我们拥有的是一个专门为GNN设计的合成数据集，它包含了300张图，每张图用于进行...
图神经网络相关算法详述及实现.zip
08-28
图神经网络（Graph Neural Networks, GNN）是深度学习领域的一种重要模型，它扩展了传统的卷积神经网络和递归神经网络，适用于处理非欧几里得数据，如社交网络、化学分子结构、推荐系统等复杂关系数据。GNN的核心...
【图神经网络】图神经网络(GNN)学习笔记：GNN的通用框架
小哲的博客
01-31 4026
所谓通用框架，是对多种变体GNN网络结构的一般化总结，也是GNN编程的通用范式，这里介绍3类通用框架： - `消息传播神经网络（Message Passing Neural Network, MPNN）`：从聚合和更新角度归纳GNN模型的几种变体； - `非局部神经网络（Non-Local Neural Network, NLNN）`：基于注意力机制的GNN模型的一般化总结； - `图网络（Graph Network, GN）`：对GNN模型进行更全面的总结
图神经网络基础知识
DCGJ666的博客
10-06 866
在向量空间中，所有对象的向量都是互相正交的，那么它们两两之间的相似度为0. 此外，独热向量的维度可能会非常高并且非常稀疏，直接使用的话也非常困难。在使用多层GCN之后，节点的区分性变得越来越差，节点的表示向量趋于一致，这使得相应的学习任务变得更加困难。之前介绍的所有GNN的变体模型中，都没有显式地考虑节点之间关系的不同，相较于同构图，现实生活中的图数据往往是异构的，即图里面存在不止一种类型的关系。现在常使用deepgcn.上的特征向量，k表示第k次消息传播，在实际编程中，一般和模型中的层的概念等价。
清晰图表，详尽阐述 GNN、GCN、GAE 等 5 类模型
XXMRXXX的博客
09-02 9330
图神经网络 (GNN) 图神经网络是图数据最原始的半监督深度学习方法。 GNN 的思路：为了编码图的结构信息，每个节点可以由低维状态向量表示。对于以图为中心的任务，建议添加一个特殊节点，这个节点具有与整个图相对应的唯一属性。 回顾过去，GNN 统一了一些处理图数据的早期方法，如递归神经网络和马尔可夫链。 展望未来，GNN 中的概念具有深远的启示：许多最先进的 GCN 实际上遵循与邻近节点交换信息的...
图神经网络通用框架 —— NLNN非局部神经网络
CSDN 精品推荐
11-10 1381
大家好，我是阿光。本专栏整理了《图神经网络》，内包含了不同图神经网络的原理以及相关代码实现，详细讲解图神经网络，理论与实践相结合，如GCN、GraphSAGE、GAT等经典图网络，每一个代码实例都附带有完整的代码+数据集。正在更新中~ ✨。
图神经网络（一）DGL框架搭建GCN图卷积神经网络模型
weixin_43918046的博客
02-18 1万+
一、DGL DGL是基于pytorch开发的一个专门用于图神经网络模型搭建的框架，到现在为止，DGL已经高度封装了如GCN、GraphSage、GAT等常见的图神经网络模型，可以直接调用，比较方便，当然针对非常想挑战自己的编程能力又或者非常想从更底层的角度去学习图神经网络，建议直接看pytorch搭建的模型。 DGL的安装和使用可以看看这里，一般是先安装pytorch再安装DGL，不然容易出错，图神经网络框架DGL使用记录。 关于DGL各种详细的API和相关使用案例，请参考官方文档， DGL官方文档。 二、
一种图神经网络架构：GraphSAGE
KPer_Yang的博客
08-28 1852
一种图神经网络架构：GraphSAGE
【图神经网络】使用DGL框架实现简单图分类任务
小哲的博客
11-17 2442
这里使用的图分类器和应用在图像或者语音上的分类器类似——先通过多层神经网络计算每个样本的表示（representation），再通过表示计算出每个类别的概率，最后通过向后传播计算梯度。通过图卷积（Graph Convolution）层获得图中每个节点的表示。使用「读出」操作（Readout）获得每张图的表示。使用 Softmax 计算每个类别的概率，使用向后传播更新参数。下图展示了整个流程：之后我们将分步讲解每一个步骤。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值