论文解析七： GNN与GCN（图神经网络）一站式详细讲解

已于 2024-10-23 12:13:56 修改
阅读量2.2k 收藏 19
点赞数 20
文章标签： 神经网络 人工智能 深度学习
于 2024-10-23 11:14:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/kaszxc/article/details/143178232
版权

目录

1.GNN 图神经网络

图这个数据结构相对于之前讨论的文本（文本是一个序列）、图片（图片是一个矩阵），图相对来说更加复杂一点。

在这里插入图片描述

  • Layer1 的点是由 Layer2里它和它的邻居计算得来的
  • Layer2的点是由 Layer3里它和它们的邻居计算得来的
  • 所以说，当你的图越深的时候，你在顶部的那些点，是由它的邻居的邻居等等整个计算得来的，只要你足够深，很有可能你一个节点是能够处理到比较大范围的图里面的节点信息

图神经网络的实际应用（starting to，图神经网络还是一个比较新的领域，在应用上刚起步）

  • 药物的发现
  • 物理模拟
  • 虚假新闻检测
  • 车流量的检测
  • 推荐系统

本文旨在探索和解释现代的图神经网络

  • 什么数据可以表示成一张图
  • 图和别的数据有什么不同，为什么要做图神经网络，而不是使用最简单的卷积神经网络等
  • 构建了一个GNN，看各模块的具体结构
  • 提供了一个GNN的playground

2.什么是图

图是用来表示entity（实体）之间的关系

  • 实体就是一个点（node，顶点）
  • 关系就是一个边（edge）

在这里插入图片描述

  • 顶点（node）
  • 边：顶点之间的关系
  • 全局信息：每个顶点、每条边和整个图表示的信息

使用向量来标示顶点，边，全局属性
在这里插入图片描述

  • 顶点（黄色）可以用一个embeding（向量）来表示它里面的属性，一共有六个值，高矮表示值的大小
  • 边（蓝色）也可以使用向量来表示，长度可以和顶点不一样，这里使用的是一个长度为8的向量，即边中所有的属性用一个长度为8的向量来表示
  • 全局信息（粉色）可以用一个长为5的向量来表示

图神经网络所关注的重点

  • 怎样把所想要的数据表示成向量
  • 这些向量是不是能够通过数据来学到

图一共有两种

  • 没有方向的图：两个点之间相连的边是没有方向的，例如微信好友。
  • 有方向的图：两个点之间相连的边是有方向，例如关注与互关。

数据是如何表示成图的

1、如何将图片表示成一张图

​ 假设有一张高宽都为244的RGB三通道图，一般来说会把它表示成一个三个维度的tensor（在输入卷积神经网络的时候用的是tensor），但是也可以把它当作一个图，它的每个像素就是一个点，如果两个像素之间是连接关系的话，就连接一条边。

下图展示了如何把一张图片表示成图
在这里插入图片描述

  • 左边表示图片
  • 中间是表示成的邻接矩阵，它的每一行是一个顶点，每一列也是一个顶点，如果第 i 行和第 j 列之间值为1（图中蓝色的点）的话就表示第 i 个结点和第 j 个节点之间是有边的，每一个蓝色的点表示图中的一条边，剩下白色的点表示这些点之间是没有边的，通常是一个很大的非常稀疏化的矩阵
  • 右边表示由图片生成的图
2.如何将文本表示成图？

文本可以认为是一条序列，可以把其中每个词表示成顶点，那么每个词和下一个词之间有一条有向边（上一个词和下一个词之间有一条指向下一个词的有向边，在图上面叫做有向的路）
在这里插入图片描述

除了文本和图片能够表示成图之外，现实生活中还有很多数据也能表示成图：

下图所示是一个分子的示意图
在这里插入图片描述
小说中人物之间的交互图（关系网络）
在这里插入图片描述

还有比较常见的就是引用图

  • 假设一篇文章引用了另一篇文章的话，就从当前文章出发连一条边到另外一篇文章（这是一条有向边，不代表会相互引用，通常来说，很少会有两篇文章相互引用，一般是现在的文章引用之前的文章）
    在这里插入图片描述
  • grapgh表示图的个数
  • node表示顶点数
  • edge表示边的个数
  • mean表示平均每个点所连接的边的数量
  • min表示图中一个顶点所连接的边的数量的最小值
  • max表示图中一个顶点所连接的边的数量的最大值
  • 每一行就是一张图
  • 第一行是一个空手道俱乐部的社交网络图，第二个是分子图，第三和第四个是引用图

在图上面可以提出什么样的问题？

主要有三个层面，图层面的，顶点层面的，边层面的

图层面的

最低0.47元/天 解锁文章
【深度学习】最强算法之：一文掌握GNN与GCN的异同点，再也不迷路。
商务合作 | 面试培训 | 职场规划 ==>主页扫码
04-10 8012
一文掌握GCN 和GNN的异同点
图神经网络实战（1）——图神经网络(Graph Neural Networks, GNN)基础
热门推荐
盼小辉丶的博客
01-02 11万+
本节全面介绍了图神经网络 (Graph Neural Network, GNN) ，包括其在数据分析和机器学习中的重要性。首先探讨了图作为数据表示的相关概念及其在各个领域的广泛应用；然后深入探讨图学习的重要性，包括不同的应用和技术。最后，重点介绍了 GNN 架构，并对比了它与其他方法之间的原理和性能差异。
图神经网络与图注意力模型（GNN、GCN、GAT）
12-09 4918
机器学习，深度学习，卷积神经网络处理，图像处理。
最基础的GNN与GCN理解
kc7w91的博客
12-06 2万+
最基础的GNN与GCN理解卷积GNN能干嘛？怎么做？GCN一、 空域角度二、频域角度 卷积 卷积只能处理图像矩阵这种规则的、欧几里得结构的数据，实现对其空间特征的提取。 卷积的理解–传送门（冰淇淋） 卷积公式： 公式解释：一个对象对一个系统的作用效果满足线性原理、累加原理（前提）。该对象对这个系统连续作用了一段时间后，求该系统的状态——这个过程可理解为求卷积。在卷积中，第一个函数 g(t) 表示这个对象对系统的作用速度。第二个函数 f(t) 表示当作用速度为单位冲击函数时这个对象对系统的作用效果。 GNN
【GNN】一、基础概念
Aimonii的博客
03-15 153
使用归一化邻接矩阵进行聚合，计算简单，缺乏个性化。使用注意力机制加权邻居，适合异质图，能够学习不同节点关系。使用灵活的聚合方法，适用于不同任务。✅原始 GCN 计算Hl1σHlW0lAHlW1lHl1σHlW0l​AHlW1l​AD−12AD−12AD−21​AD−21​✅加入自连接后的计算Hl1σAHlW1lHl1σAHlW1l​AD−12。
图卷积神经网络GCN与图神经网络GNN
zhu_xian_gang的博客
10-23 1万+
GCN既可以进行直推式学习也可以进行归纳式学习，而传统的比如基于随机游走的方法、基于矩阵分解的方法、标签传播的只能进行直推式，但是直推式的缺点显而易见，直推式无法泛化到新结点，需要重新采样随机游走序列，优化更新所有节点的嵌入向量。然而归纳式学习可以泛化到新节点，也可进行迁移式学习，如GAT、GIN等图神经网络方法（通过计算图的范式，得到结构上的相似，比如，地理上的远隔）。
GNN、GCN、GAT关系
qq_38148600的博客
11-16 1万+
图神经网络 Graph Neural Network (GNN) 参考文献：图神经网络 Graph Neural Network (GNN) 最早期的图神经网络 Graph Neural Network，简称 GNN。GNN 2009 年已经出现了，发表在论文《The graph neural network model》中。 ...
GNN与GCN相关论文
Norstc的博客
01-20 874
论文:Understanding the Representation Power of GraphNeural Networks in Learning Graph TopologyA github:Understanding-GCN 论文:Iterative Visual Reasoning Beyond Convolutions 论文:Cognitive Graph for Multi...
GNNs入门（一）GNN和GCN
JeffanChen的博客
09-05 2074
GNN 是 CNN 在图数据领域的扩展，通过消息传递机制捕捉局部和全局模式，适用于处理复杂的关系数据任务。本篇文章深入浅出讲解其中的知识点。
GNN，GCN，图神经网络深度讲解100页ppt 包括基础的GNN和其多个变体
12-19
【图神经网络 (GNN) 深度解析】 图神经网络（GNN）是一种针对非欧式空间数据的深度学习模型，它结合了深度学习和图计算的优势，以处理复杂的关系网络。GNN的出现源于传统卷积神经网络（CNN）在处理非结构化数据时的...
Achronix - 机器学习实战：GNN（图神经网络）加速器的FPGA解决方案
01-20
【GNN（图神经网络）】是机器学习领域的一个重要分支，它专门处理非欧氏数据，即数据之间存在复杂依赖关系的图结构。在传统的机器学习任务如图像分类、语音识别中，数据多为欧氏数据，具有固定的维度和顺序。而GNN则...
图神经网络 GNN、GCN经典数据集包 Cora数据集
10-20
图神经网络（GNN）和图卷积网络（GCN）是近年来在机器学习领域备受关注的模型，尤其是在处理非结构化数据，如社交网络、化学分子结构等问题时展现出强大的能力。Cora数据集是这类模型的经典研究对象，用于节点分类...
零基础多图详解图神经网络（GNN/GCN）【论文精读】
teletubbies的博客
01-05 1911
主要有三大类问题，一个是在图层面的，一个顶点层面，一个是边层面。图层面给我们一个图，我们对图进行分类。顶点层面：一个俱乐部的A和B老师决裂了，分成了两大派系，各个顶点是站队A还是站队B。边层面给一个图片，我们首先通过语义分割把图片里面的人物，背景都拿出来之后，然后这个人物之间是什么关系，顶点有了，我们主要学习顶点之间边的属性是什么。
GNN and GCN
肖泽的博客
08-15 4601
MixHop: Higher-Order Graph Convolutional Architectures via Sparsified Neighborhood Mixing k-hop Graph Neural Networks
自然语言处理NLP——图神经网络与图注意力模型（GNN、GCN、GAT）
转载请标明出处，完整项目/代码详见github：https://github.com/yiru1225
12-24 1万+
本篇博客从图神经网络（GNN）的动机与模型，图卷积网络（GCN）的模型详解与公式推导引入，重点介绍图注意力网络（GAT）的目标函数推导，模型解析，并使用不同框架复现GAT论文实验，对比分析结论与论文结果，并在最后补充一定的GAT推广与优化（内附Python代码与数据集）。
时空图神经网络1——GNN和GCN
最新发布
m0_51501260的博客
04-25 32
学习时序图神经网络需要对图神经网络有基本的认识，首先从最简单的GNN和GCN开始讲起。本文在理解原文的基础上，参考了其他博主的blog，整理出来作为笔记，既给自己看，也分享给大家。图神经网络(Graph Neural Network, GNN)是一种专门用于处理图数据的深度学习模型。传统的神经网络主要用于处理向量或序列数据，而图神经网络则可以有效地处理非结构化的图形数据，如社交网络、推荐系统中的用户-物品关系、生物信息学中的蛋白质相互作用网络等。
GNN 系列：Graph 基础知识介绍
Datawhale
08-01 4169
点击上方“Datawhale”，选择“星标”公众号第一时间获取价值内容【导读】图卷积神经网络(Graph Convolutional Network)作为最近几年兴起的一...
图神经网络入门 (GNN, GCN)
连理o的博客
06-26 2943
目录References 如何使用神经网络处理图的结构和特性 (需要的模块以及它们背后的思想) References 零基础多图详解图神经网络（GNN/GCN）【论文精读】 A Gentle Introduction to Graph Neural Networks
3-15-GCN和GNN的区别？
qq_40723205的博客
03-15 1万+
GNN：图神经网络，由于传统的CNN网络无法表示顶点和边这种关系型数据，便出现了图神经网络解决这种图数据的表示问题，这属于CNN往图方向的应用扩展 GCN：图卷积神经网络，GNN在训练过程中，有将attention引入图结构的，有将门控机制引入图结构的，还有将卷积引入图结构的，引入卷积的GNN就是GCN，通过提取空间特征来进行学习 GCN为图卷积神经网络，其为GNN的一种，区别主要在于采用卷积算子进行信息汇聚。 ...
GNN GCN GAT的区别
01-19
### 图神经网络中GCN和GAT模型的区别 #### GCN的特点 Graph Convolutional Network (GCN) 是一种用于处理图结构数据的深度学习架构。其核心思想是在节点及其一阶邻居之间执行聚合操作来更新节点表示[^1]。 GCN 的主要特点是通过谱域上的卷积操作实现，这使得该方法能够有效地捕捉局部邻接信息并进行平滑化处理。具体来说，在每一层中，GCN 将当前节点特征与其相邻节点特征相加，并经过线性变换以及激活函数得到新的节点嵌入向量： ```python H^(l+1) = σ(Ã H^(l) W^(l)) ``` 其中 `σ` 表示激活函数；`W^(l)` 是第 l 层可训练权重矩阵；`Ã=D̃ ^(-½)(A+I)D̃ ^(-½)` 为归一化的拉普拉斯算子。 #### GAT的特点 Graph Attention Networks (GATs)，则引入注意力机制到图神经网络框架内。不同于传统固定权值分配方式，GAT 使用自适应关注不同邻居的重要性程度来进行消息传递过程中的特征融合[^2]。 对于任意一对相连节点 i 和 j ，计算它们之间的关联度得分 e_ij 并应用 Softmax 函数规范化这些分数作为最终边权重 α_ij 。之后利用此权重组合来自各个方向的信息形成新表征 h'_i : ```python α_{ij} = \frac{\exp(\text{LeakyReLU}(a^T [Wh_i || Wh_j]))}{\sum_k \exp(\text{LeakyReLU}(a^T [Wh_i || Wh_k]))} h'_i = σ (\sum_j α_{ij} Wh_j ) ``` 这里 a 是一个共享参数向量用来衡量两个顶点间的关系强度；|| 符号代表拼接运算符。 #### 差异对比 - **传播模式**: GCNs 基于固定的平均池化策略收集周围节点的消息，而 GAT 则采用灵活的关注力系数动态调整各条边上所携带的数据比重。 - **表达能力**: 因为加入了注意力建模环节，理论上讲 GAT 可以更好地捕获复杂依赖关系并且具备更强的表现力。 - **适用场景**: 当面对具有明显层次结构或者需要强调某些特定交互作用的任务时，GAT 或许会更加合适；反之如果目标仅限于简单分类预测，则两者性能可能相差不大。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Unknown To Known

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值