Graph Neural Network

最新推荐文章于 2024-01-02 07:43:55 发布
最新推荐文章于 2024-01-02 07:43:55 发布
阅读量283 收藏
点赞数
分类专栏： paper 文章标签： 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41729148/article/details/123661442
版权

该文章的博客链接
A Gentle Introduction to Graph Neural Networks

通过js交互图，介绍不同层之间，图的信息传递

在这里插入图片描述

摘要

Understanding Convolutions on Graphs 这篇文章会帮助我们理解从图像卷积自然过渡到图的卷积。GNN属于是一个新的领域，刚刚开始应用。本篇文章主要可以分为四个部分，第一部分是介绍什么数据可以表示成图。第二部分是介绍图和其他数据结构有什么区别。第三部分是介绍GNN的模型，从最简单的模型到现在最先进的模型。第四部分，作者提供了GNN的playground，可以让读者亲自体验体验GNN的魅力。
在这里插入图片描述
在本篇文章中，V/U/E的详细信息如上。为了更好的描述它，用长度较小的向量来表示。
图神经的核心就是，怎么样把我们想要的信息表示成向量，以及向量是否能通过数据学习到。

VEU
node(6)edge(8)全局信息，整个图（5）

1. 什么数据可以表示为图

image/text/molecule/social network/citation novels都可以用图来表示。

datagraph
image每个像素看作一个点，是否相邻看作一条边
text每个词看作一个点，词之间存在有向边
molecule每个原子看作一个点，它们之间的键看作边
social network每个人看作一个点，它们之间是否认识作为边
citation novels每篇文章引用别人的文章，文章的引用看作一条有向边

在图上面可以定义什么样的问题？

总共可以分为三大问题，分别是Graph/Edge/Node level

Graph Level

例子：给定一个分子表示的图，然后预测该分子的气味，或者是不是可以与某种疾病的受体相结合。

Node Level

例子：通过老师与学员打比赛，将学员分类到2个老师的队伍中。

Edge Level

例子：跆拳道比赛，预测不同的人的关系，比如观众看比赛，选手比赛。

2.图和其他数据类型的区别

图在机器学习上的挑战

challenges one

Graph 有4种信息，分别是node/edge/graph/connectivity。前三个相对简单，但是连接性很复杂。如果使用邻接矩阵来表示connectivity来表示，需要很大存储空间，而且空间上是稀疏的。稀疏矩阵存储的话，GPU计算较困难。

challenges two

排列不变性：同一个图，可以用不同的邻接矩阵来表示，但对于这些同一个图生成的不同的输入，无法保证对应的输出是一致的。

如何高效的表示这个图呢？（邻接表）

在这里插入图片描述
稀疏矩阵可以考虑用邻接表来存储，以上是图对应的邻接表。图中数值可以是任意的tensor。

3.GNN（Graph Neural Network）

GNN解决了上述存在的问题。一是GNN可以保持排列不变性，即对于同一个图，不同的表示并不会影响输出。二是GNN的输出和输入都是图，不会改变图的连接性。

simplest GNN

对于node、edge、Global，分别增加一个MLP层，不会改变图的连接性。
在这里插入图片描述

Pooling Information

问题：解决最后一层预测。某些节点没有node/edge/global中的一种，该怎么办？
解决：缺啥，用其他有的来做汇聚（pooling）。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

消息传递的GNN（增加图的连接性）

node

通过相邻节点来更新自己这个节点的信息。
在这里插入图片描述
在这里插入图片描述

edge（3种）

1.节点——边——节点
在这里插入图片描述
2.边——节点——边
在这里插入图片描述
3.交替使用
在这里插入图片描述

global

在这里插入图片描述
可以将这个理解为特征级别的注意力机制，即这个Global整合了node/edge等诸多信息。Global（抽象）可以和所有的点和边连接，然后做MLP。
在这里插入图片描述

4.GNN playground

本文作者将GNN嵌入到js中，搭建了一个playground，给出了分子的数据集，通过调节超参数，可以得到不同的模型。并通过可变的分子结构，给出了结果的可视化。

模型超参数选择

下图是一个预测分子是否有味。可以改变的参数有层数、pooling函数、node、edge、global的表示向量的长度等。在超参数的基础上，会将模型训练50个epoch。最后会给出模型的AUC。
在这里插入图片描述

参数数量对于模型的影响

在这里插入图片描述

edge/node/global维度对于模型的影响

在这里插入图片描述

模型层数对于模型的影响

在这里插入图片描述

pooling的选择对于模型的影响

在这里插入图片描述

消息机制对于模型的影响

在这里插入图片描述

图相关的技术

多重图和超图

在这里插入图片描述

采样和batch

图的结构决定了不可能像CNN那样固定batch的大小。
随机采样、随机走采样、随机走采样+随机采样、扩散采样
在这里插入图片描述

Inductive biases

网络Inductive biases
CNN空间变换的不变性
RNN时序的连续性
GNN图的对称性

结论

图是非常强大，几乎所有数据都能表示成图，但是图上做优化很难，涉及到CPU和GPU的训练也是一个挑战，同时图神经网络对超参数非常敏感。近些年图神经网络在学术界迅速发展，实际上工业落地的并不多，GNN的发展还需要时间的沉淀。
参考链接

_ady
关注
专栏目录
图神经网络(Graph Neural Networks) 原理与代码实例讲解
程序员光剑
06-20 684
图神经网络(Graph Neural Networks) - 原理与代码实例讲解 1.背景介绍 在现代数据科学和机器学习领域，图数据结构的应用越来越广泛。图神经网络（Graph Neural Networks, GNNs）作为一种新兴的深度学习模型
深度学习论文: Attentional Graph Neural Network for Parking-slot Detection
mingo_敏
04-13 3625
深度学习论文: Attentional Graph Neural Network for Parking-slot Detection Attentional Graph Neural Network for Parking-slot Detection PDF: https://arxiv.org/pdf/2104.02576.pdf PyTorch代码: https://github.com/shanglianlm0525/CvPytorch PyTorch代码: https://github.com/
图神经网络（Graph Neural Networks）
04-26
图神经网络无疑是现在最火的AI技术之一，在本文中，全面详细地介绍了GNN的背景动机、GCN、循环关系网络、通用网络。
一文轻松了解Graph Neural Networks
hecongqing的博客
02-16 565
作者：Joao Schapke 编译: Congqing He❝图神经网络有哪些应用领域？又有哪些图神经网络？这篇文章告诉你！❞图结构数据在各个领域都很常见，例如{分子、社会、引用、道路...
Graph Neural Networks
qq_30011515的博客
02-05 113
GNN 结构框图 GNN应用例子 GNN Roadmap Spatial-based Convolution NN4G (Neural Networks for Graph) DCNN (Diffusion-Convolution Neural Network ) MoNET (Mixture Model Networks) GAT (Graph Attention Networks) GIN (Graph Isomorphism Network) Graph Generation G
Neural Bellman-Ford Networks A General Graph Neural Network Fra
10-09
在【NeurIPS 2021】会议论文“Neural Bellman-Ford Networks: A General Graph Neural Network Framework for Link Prediction”中，作者们提出了一个新的框架——神经Bellman-Ford网络（NBFNet），这是一种用于链路...
the graph neural network model 图神经网络模型
04-26
"图神经网络模型" 图神经网络模型是一种新的神经网络模型，它扩展了现有的神经网络方法来处理图形域中表示的数据。该模型可以直接处理大多数实际有用的图类型，例如，无环的、循环的、有向的和无向的。...
Heterogeneous Graph Neural Network（异质图神经网络）
01-20
Heterogeneous Information Network 传统的同构图（Homogeneous Graph）中只存在一种类型的节点和边，当图中的节点和边存在多种类型和各种复杂的关系时，再采用Homo的处理方式就不太可行了。这个时候不同类型的节点...
《The Graph Neural Network Model 》
qq_45312141的博客
05-28 1548
《The Graph Neural Network Model 》AbstractAbstractAbstractIntroductionIntroductionIntroductionThe Graph Neural Network ModelThe\ Graph\ Neural\ Network\ ModelThe Graph Neural Network Model符号A. The Model[Banach′s 
graph neural network review.rar
07-03
对目前图神经网络的技术进行总结。经典graph算法，概率图模型和图神经网络。
图神经网络（Graph neural networks）综述
热门推荐
m0_38031488的博客
03-12 5万+
论文链接：Graph Neural Networks:A Review of Methods and Applications Abstract：图（Graph）数据包含着十分丰富的关系型信息。从文本、图像这些非结构化数据中进行推理学习，例如句子的依赖树、图像的场景图等，都需要图推理模型。图网络（Graph neural networks）是一种链接主义模型，它靠图中节点之间的信息传递来捕捉图...
图神经网络实战（1）——图神经网络(Graph Neural Networks, GNN)基础
最新发布
盼小辉丶的博客
01-02 6万+
本节全面介绍了图神经网络 (Graph Neural Network, GNN) ，包括其在数据分析和机器学习中的重要性。首先探讨了图作为数据表示的相关概念及其在各个领域的广泛应用；然后深入探讨图学习的重要性，包括不同的应用和技术。最后，重点介绍了 GNN 架构，并对比了它与其他方法之间的原理和性能差异。
图神经网络（Graph Neural Networks）简单介绍
百年孤独百年的博客
05-24 1万+
图神经网络（Graph Neural Networks, GNN）是一类用于处理图结构数据的神经网络模型，与传统的神经网络（例如卷积神经网络、循环神经网络等）处理规则数据结构（如图像、时间序列）不同，图神经网络专门处理不规则的图结构数据，如社交网络、知识图谱等。图结构数据是一种由节点和边组成的复杂关系网络，其中节点代表实体，边代表实体之间的关系。与传统的神经网络不同，图神经网络需要考虑节点之间的关系，因此需要一种新的方式来表示节点和边。
Graph Neural Network（GNN）综述
湾区人工智能
05-14 2733
关注“SIGAI”，选择“星标”或“置顶”技术文章，第一时间获取作者简介：吴天龙 香侬科技researcher公众号（suanfarensheng）导言图(grap...
图神经网络(Graph Neural Network)
程序员光剑
07-12 1935
图神经网络(Graph Neural Network) Graph Neural Networks. 图神经网络 (Graph Neural Network, GNN)是用于处理图结构的神经网络，其核心思想是学习
Graph Neural Network(GNN)图神经网络
weixin_44746091的博客
03-01 702
Graph Neural Network(GNN) 图神经网络
图神经网络模型 The Graph Neural Network Model
明远
01-12 3万+
Abstract 数据包含许多潜在关系可以表示为图，这些数据存在于科学和工程的众多领域，比如计算机视觉、分子化学、分子生物、模式识别以及数据挖掘。本文提出了一种新型的神经网络模型，称为图神经网络(GNN)模型，对现有的神经网络模型进行了拓展，适用于处理可以表示为图的数据。GNN模型通过一个函数τ(G,n)∈Rm\tau(G,n) \in \mathbb{R}^mτ(G,n)∈Rm将图GGG和其中的...
graph neural network
06-28
图神经网络 (Graph Neural Network) 是一种特殊的深度学习模型，专门用于处理图结构数据。它能够学习图中节点之间的关系，并用于预测、分类和聚类等任务。图神经网络通常由多层节点卷积和图卷积层组成。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值