图卷积（三）

最新推荐文章于 2024-08-16 08:25:07 发布
最新推荐文章于 2024-08-16 08:25:07 发布
阅读量1k 收藏 2
点赞数
分类专栏： 图卷积 文章标签： survey
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40248634/article/details/103212009
版权

A Comprehensive Survey on Graph Neural Networks


Networks)
论文链接：https://arxiv.org/pdf/1901.00596v1.pdf

图神经网络 vs. 网络嵌入。

转自：https://www.jiqizhixin.com/articles/2019-01-07-8
对图神经网络的研究与图嵌入或网络嵌入紧密相关，这也是数据挖掘和机器学习社区日益关注的一个话题 [32] [33] [34] [35], [36], [37]。网络嵌入旨在通过保留网络拓扑架构和节点内容信息，将网络顶点表示到低维向量空间中，以使任何后续的图分析任务（如分类、聚类和推荐）都可以通过使用简单的现成学习机算法（如用于分类的支持向量机）轻松执行。许多网络嵌入算法都是无监督算法，它们大致可分为三组 [32]，即矩阵分解 [38], [39]、随机游走 [40] 和深度学习方法。用于网络嵌入的深度学习方法同时还属于图神经网络，包括基于图自编码器的算法（如 DNGR [41] 和 SDNE [42]）和具有无监督训练的图卷积神经网络（如 GraphSage [24]）。图 2 描述了本文中网络嵌入和图神经网络的区别!在这里插入图片描述

时空图（Spatial-Temporal Graph）

Definition 3 (Spatial-Temporal Graph). A spatial-temporal
graph is an attributed graph where the feature matrix X
evolves over time. It is defined as G = (V; E; A; X) with X ∈ R T × N × D X \in R^{T ×N×D} X∈RT×N×D
where T is the length of time steps
时空图应用比如人体姿态检测，不同时刻有不同时刻的图。

图神经网络（GNN）的新分类体系

GNN 被分成了 5 个类别：图卷积网络、图注意力网络、图自编码器、图生成网络和图时空网络。
在这里插入图片描述1. 普通图卷积
在这里插入图片描述
2. 图自编码
在这里插入图片描述
3. 图时空网络
在这里插入图片描述
4.图卷积网络和图注意力网络在聚合邻近节点信息方面的区别。
在这里插入图片描述
端到端训练框架。图卷积网络可以以（半）监督或纯无监督的方式在端到端学习框架中训练，依赖于学习任务和可用的标签信息。

  • 节点级分类的半监督学习。给定部分节点被标记的单个网络，图卷积网络可以学习到一个鲁棒的模型，高效识别未标记节点的类别标签 [14]。为此，可以通过堆叠一系列的图卷积层和 softmax 层来建立端到端框架进行多类别分类。

  • 图级分类的监督学习。给定一个图数据集，图级分类旨在预测整个图的类别标签 [55], [56], [74], [75]。这一任务的端到端学习可以利用一个结合了图卷积层和池化步骤的框架实现 [55], [56]。

  • 图嵌入的无监督学习。如果图中无可用类别标签，我们可以在一个端到端框架中以完全无监督的方式学习图嵌入。这些算法通过两种方式利用边级（edge-level）信息。一种简单的方法是采用自编码器框架，其中编码器使用图卷积层将图嵌进潜在表征中，然后使用解码器重构图结构 [59], [61]。另一种方法是利用负采样方法，采样一部分节点对作为负对（negative pair），而图中已有的节点作为正对（positive pair）。然后在卷积层之后应用 logistic 回归层，以用于端到端学习 [24]。

GCN方法

GCN 方法分为两类，分别基于谱和空间。基于谱的方法通过从图信号处理的角度引入滤波器来定义图卷积，其中图卷积运算被解释为从图信号中去除噪声 [76]。基于空间的方法将图卷积表征为聚合来自近邻的特征信息。
表3：node-level输出与节点回归和分类任务相关，Edge-level输出与边分类和链接预测任务有关，graph-level输出与图分类任务有关。
在这里插入图片描述

  • 基于谱的 GCN 部分介绍了其背景、方法等，这些方法包括 Spectral CNN、Chebyshev Spectral CNN (ChebNet)、First order of ChebNet (1stChebNet) 和 Adaptive Graph Convolution Network (AGCN)。
  • 基于空间的 GCN 分为两类：Recurrent-based Spatial GCN 和 Composition Based Spatial GCN。前者包括图神经网络（Graph Neural Networks，GNN）、门控图神经网络（Gated Graph Neural Networks，GGNN）和 Stochastic Steady-state Embedding (SSE)。后者涉及了：Message Passing Neural Networks (MPNN)、GraphSage。此外，这部分还介绍了这两大类之外的空间 GCN 变体，包括 Diffusion Convolution Neural Networks (DCNN)、PATCHY-SAN、Large-scale Graph Convolution Networks (LGCN)、Mixture Model Network (MoNet)。
    所有我们之前学的MPNN是属于空间方法的GCN.

在这里插入图片描述在这里插入图片描述

图卷积外的其他图神经网络模型

下面是除图卷积之外的其他图神经网络模型，包括图注意力，图自编码，图生成还有图时空。（可以将这些模型找出来研究一下）
在这里插入图片描述

图注意力网络

神经网络在聚合信息、集成多个模型的输出、生成重要性导向的随机游走时，可以从注意力机制中获益良多，这部分介绍了图注意力网络的多种方法，包括图注意力网络（Graph Attention Network，GAT）、门控注意力网络（Gated Attention Network，GAAN）、图注意力模型（Graph Attention Model，GAM）、注意力游走（Attention Walks）。
图自编码器是一类网络嵌入方法，旨在通过神经网络架构将网络顶点表征到低维向量空间。典型的解决方案是使用多层感知机作为编码器来获取节点嵌入，解码器重建节点的近邻统计，如正逐点互信息（positive pointwise mutual information，PPMI）或一阶、二阶接近度（proximities）[42]。最近，研究人员尝试在设计图自编码器时用 GCN 作为编码器、结合 GCN 和 GAN，或者结合 LSTM 和 GAN。

这部分介绍了基于 GCN 的自编码器和其他变体。基于 GCN 的自编码器部分介绍了：图自编码器（Graph Auto-encoder，GAE）、对抗正则化图自编码器（Adversarially Regularized Graph Autoencoder，ARGA）。其他变体包括：具备对抗正则化自编码器的网络表征（Network Representations with Adversarially Regularized Autoencoders，NetRA）、用于图表征的深度神经网络（Deep Neural Networks for Graph Representations，DNGR）、结构化深度网络嵌入（Structural Deep Network Embedding，SDNE）、深度递归网络嵌入（Deep Recursive Network Embedding，DRNE）。

图自编码器

图自编码器是一类网络嵌入方法，旨在通过神经网络架构将网络顶点表征到低维向量空间。典型的解决方案是使用多层感知机作为编码器来获取节点嵌入，解码器重建节点的近邻统计，如正逐点互信息（positive pointwise mutual information，PPMI）或一阶、二阶接近度（proximities）[42]。最近，研究人员尝试在设计图自编码器时用 GCN 作为编码器、结合 GCN 和 GAN，或者结合 LSTM 和 GAN。
这部分介绍了基于 GCN 的自编码器和其他变体。基于 GCN 的自编码器部分介绍了：图自编码器（Graph Auto-encoder，GAE）、对抗正则化图自编码器（Adversarially Regularized Graph Autoencoder，ARGA）。其他变体包括：具备对抗正则化自编码器的网络表征（Network Representations with Adversarially Regularized Autoencoders，NetRA）、用于图表征的深度神经网络（Deep Neural Networks for Graph Representations，DNGR）、结构化深度网络嵌入（Structural Deep Network Embedding，SDNE）、深度递归网络嵌入（Deep Recursive Network Embedding，DRNE）。
图自编码器的一个挑战是邻接矩阵的稀疏性，会导致解码器正条目（positive entry）的数量远远少于负条目。为了解决这个问题，DNGR 重建了一个较稠密的矩阵——PPMI 矩阵，SDNE 对邻接矩阵的零条目进行惩罚，GAE 重新调整邻接矩阵中项的权重，NetRA 将图线性化为序列。

图生成网络

图生成网络的目标是基于一组可观察图来生成图。这部分介绍了基于 GCN 的图生成网络和其他图生成网络。前者包括：分子生成对抗网络（Molecular Generative Adversarial Networks，MolGAN）和深度图生成模型（Deep Generative Models of Graphs，DGMG）；后者涉及 GraphRNN（通过两级循环神经网络使用深度图生成模型）和 NetGAN（结合 LSTM 和 Wasserstein GAN 从基于随机游走的方法中生成图）。
在这里插入图片描述 生成器从标准正态分布中取样，然后通过神经网络生成一个邻接阵A与一个对应的特征阵X，再根据类别分布从A中取样，X中取样，再通过GCN推出采样图的的向量表示，再从将真个图表示喂到两种完全不同的神经网络，一个判别器还有一个奖励网络，最后各自输出0到1之间的分数，最后作为更新网络权重的的反馈。

图时空网络

图时空网络的目标是预测未来节点值或标签，或预测时空图标签。近期研究探索了仅使用 GCN、结合 GCN 和 RNN 或 CNN，以及专用于图结构的循环架构。

这部分介绍了基于 GCN 的图时空网络和其他图时空网络。前者包括：Diffusion Convolutional Recurrent Neural Network (DCRNN)、CNN-GCN、时空 GCN（Spatial Temporal GCN，ST-GCN）。其他方法有 Structural-RNN，一种循环结构化框架。

DCRNN 的优势是能够处理长期依赖，因为它具备循环网络架构。尽管 CNN-GCN 比 DCRNN 简单一些，但 CNN-GCN 能够更高效地处理时空图，这要归功于 1D CNN 的快速实现。时空 GCN 将时间流作为图的边，这导致邻接矩阵的大小呈平方增长。一方面，它增加了图卷积层的计算成本。另一方面，要捕捉长期依赖，图卷积层必须多次堆叠。StructuralRNN 在同一个语义组内共享相同的 RNN，从而改善了模型效率，但是 StructuralRNN 需要人类先验知识来分割语义组。

应用

常用数据集

在这里插入图片描述

开源实现

ModelFrameworkGithub Link
ChebNet (2016) [12]tensorflowhttps://github.com/mdeff/cnn graph
1stChebNet (2017)tensorflowhttps://github.com/tkipf/gcn
GGNNs (2015) [18]luahttps://github.com/yujiali/ggnn
SSE (2018) [19]chttps://github.com/Hanjun-Dai/steady state embedding
GraphSage (2017) [24]tensorflowhttps://github.com/williamleif/GraphSAGE
LGCN (2018) [27]tensorflowhttps://github.com/divelab/lgcn/
SplineCNN (2018) [86]pytorchhttps://github.com/rusty1s/pytorch geometric
GAT (2017) [15]tensorflowhttps://github.com/PetarV-/GAT
GAE (2016) [59]tensorflowhttps://github.com/limaosen0/Variational-Graph-Auto-Encoders
ARGA (2018) [61]tensorflowhttps://github.com/Ruiqi-Hu/ARGA
DNGR (2016) [41]matlabhttps://github.com/ShelsonCao/DNGR
SDNE (2016) [42]pythonhttps://github.com/suanrong/SDNE
DRNE (2016) [63]tensorflowhttps://github.com/tadpole/DRNE
GraphRNN (2018) [64]tensorflowhttps://github.com/snap-stanford/GraphRNN
DCRNN (2018) [70]tensorflowhttps://github.com/liyaguang/DCRNN
CNN-GCN (2017) [71]tensorflowhttps://github.com/VeritasYin/STGCN IJCAI-18
ST-GCN (2018) [72]pytorchhttps://github.com/yysijie/st-gcn
Structural RNN (2016) [73]theanohttps://github.com/asheshjain399/RNNexp

GNN应用包括视觉，推荐系统，交通，化学等。

未来方向

  • 加深网络
    深度学习的成功在于深度神经架构。例如在图像分类中，模型 ResNet 具有 152 层。但在图网络中，实证研究表明，随着网络层数增加，模型性能急剧下降 [147]。根据论文 [147]，这是由于图卷积的影响，因为它本质上推动相邻节点的表示更加接近彼此，所以理论上，通过无限次卷积，所有节点的表示将收敛到一个点。这导致了一个问题：加深网络是否仍然是学习图结构数据的好策略？
  • 感受野
    节点的感受野是指一组节点，包括中心节点和其近邻节点。节点的近邻（节点）数量遵循幂律分布。有些节点可能只有一个近邻，而有些节点却有数千个近邻。尽管采用了采样策略 [24], [26], [27]，但如何选择节点的代表性感受野仍然有待探索。
  • 可扩展性
    大部分图神经网络并不能很好地扩展到大型图上。主要原因是当堆叠一个图卷积的多层时，节点的最终状态涉及其大量近邻节点的隐藏状态，导致反向传播变得非常复杂。虽然有些方法试图通过快速采样和子图训练来提升模型效率 [24], [27]，但它们仍无法扩展到大型图的深度架构上。
  • 动态性与异质性
    大多数当前的图神经网络都处理静态同质图。一方面，假设图架构是固定的。另一方面，假设图的节点和边来自同一个来源。然而，这两个假设在很多情况下是不现实的。在社交网络中，一个新人可能会随时加入，而之前就存在的人也可能退出该社交网络。在推荐系统中，产品可能具有不同的类型，而其输出形式也可能不同，也许是文本，也许是图像。因此，应当开发新方法来处理动态和异质图结构。
weixin_40248634
关注
专栏目录
GNN-图卷积模型-2016：PATCHY-SAN【图结构序列化：将图结构转换成了序列结构，然后直接利用卷积神经网络在转化成的序列结构上做卷积】
u013250861的博客
11-16 1012
我们之前曾提到卷积神经网络不能应用在图结构上是因为图是非欧式空间，所以大部分算法都沿着找到适用于图的卷积核这个思路来走。 而 PATCHY-SAN 算法 《Learning Convolutional Neural Networks for Graphs》 另辟蹊径，它将图结构转换成了序列结构，然后直接利用卷积神经网络在转化成的序列结构上做卷积。 由于 PATCHY-SAN在其论文中主要用于图的分类任务，我们下面的计算过程也主要针对图分类问题(例如，判断某个社群的职业)。 那么，图结构转换成序列结构最主要的
图神经网络实战（7）——图卷积网络(Graph Convolutional Network, GCN)详解与实现
盼小辉丶的博客
04-03 8435
图卷积网络 (Graph Convolutional Network, GCN) 架构由 Kipf 和 Welling 于 2017 年提出，其理念是创建一种适用于图的高效卷积神经网络。在本节中，我们将讨论 Vanilla GNN 架构的局限性，并详细介绍 GCN 的工作原理，通过使用 PyTorch Geometric 在 Cora 和 Facebook Page-Page 数据集上实现 GCN 来验证其性能。
探索SplineCNN：高效几何深度学习的神器
gitblog_00016的博客
06-05 503
探索SplineCNN：高效几何深度学习的神器 pytorch_spline_convImplementation of the Spline-Based Convolution Operator of SplineCNN in PyTorch项目地址:https://gitcode.com/gh_mirrors/py/pytorch_spline_conv 在这个快速发展的深度学习时代，我们不...
pytorch_spline_conv：在PyTorch中实现基于样条的SplineCNN卷积运算符
02-15
基于样条的SplineCNN卷积算子 这是SplineCNN基于样条的卷积运算符的PyTorch实现，如我们的论文所述： Matthias Fey，Jan Eric Lenssen，Frank Weichert，HeinrichMüller： （CVPR 2018） 该运算符适用于所有浮点数据类型，并且已针对CPU和GPU实施。 安装 二进制文件 我们提供适用于所有主要OS / PyTorch / CUDA组合的拨轮，请参见。 PyTorch 1.7.0 要为PyTorch 1.7.0安装二进制文件，只需运行 pip install torch-spline-conv -f https://pytorch-geometric.com/whl/torch-1.7.0+${CUDA}.html 其中${CUDA}应该由cpu ， cu92 ， cu101 ， cu102或cu110 c
第十一章：GCN——图卷积神经网络：全面回顾
ADICDFHL的博客
07-15 2086
作为图神经网络模型的一种，图卷积网络模型已成为机器学习和其他相关领域的热门话题，并且已经提出了大量模型来解决不同的问题。在本调查中，我们对图卷积网络这一新兴领域进行了全面的文献综述。具体而言，我们引入了两个直观的分类法，以根据图滤波操作的类型和应用领域对现有工作进行分组。对于每个分类法，我们从独特的角度提供了一些详细的例子。我们还讨论了现有图卷积网络的一些挑战和潜在问题，并提供了一些未来的研究方向。
推荐项目：SplineCNN——加速几何深度学习的利器
最新发布
gitblog_00551的博客
08-16 729
推荐项目：SplineCNN——加速几何深度学习的利器 项目地址:https://gitcode.com/gh_mirrors/py/pytorch_spline_conv 在深度学习领域，特别是在处理图形数据时，几何深度学习的进展为我们提供了前所未有的洞察能力。今天，我们想为大家介绍一个卓越的开源工具——torch-spline-conv，它为PyTorch生态系统带来了一种高效的张量基B样条卷...
分布式图卷积神经网路
07-23
分布式图卷积神经网络是深度学习领域的一类新型网络模型，旨在通过图结构数据来构建神经网络，其关键在于能够处理非欧几里得数据，即无法用传统的欧几里得空间方法来表示的数据。与传统深度学习模型相比，图卷积神经...
WHJ.rar_C++图像卷积_卷积滤波_图像卷积
09-19
处理彩色图像时，通常对RGB三个通道分别进行卷积，或者使用特定的彩色滤波器。 在实际应用中，为了提高效率，可以采用卷积神经网络（CNN）进行卷积操作。CNN是一种深度学习模型，特别适合于图像处理，因为它能自动...
CubicConvolution.rar_三次卷积_三次卷积插值_三次卷积法_图像缩放_插值
07-15
三次卷积是一种高级的图像处理技术，主要用于图像的缩放和插值操作，它能显著提升图像放大后的质量，减少像素化和锯齿状边缘。本文将深入探讨三次卷积的概念、工作原理以及在图像缩放中的应用。 三次卷积，也称为三...
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition
abrams90的专栏
12-05 1082
Abstract 动态人体骨架为行为识别承载着重要的信息。传统的骨架建模方法通常依赖于手工设计的部件与便利规则，这导致了表达能力的限制与通用性的难题。本文中，我们提出了一种先进的动态骨架模型称为Spatial-Temporal Graph Convolutional Networks（ST-GCN），这种方法通过自适应学习数据的空间与时间模式来解决之前方法的局限性。这种提法不仅带来了更好的表达能...
图卷积神经网络（GCN）与 图注意力神经网络（GAT）
weixin_43221749的博客
05-29 4400
显然学习顶点 i,j 之间的相关性，就是通过可学习的参数 W和映射 α(⋅) 完成的。
图神经网络（Graph Neural Networks）概述
看我，看我，还看我，再看我就把你吃掉！
06-04 7万+
论文：A Comprehensive Survey on Graph Neural Networks 一篇关于图神经网络的综述文章，着重介绍了图卷积神经网络（GCN），回顾了近些年的几个主要的图神经网络的的体系：图注意力网络、图自编码机、图生成网络、图时空网络。 1、介绍 传统的机器学习所用到的数据是欧氏空间（Euclidean Domain）的数据，欧氏空间下的数据最显著的特征就是有着规则...
图神经网络学习—— 一文说明白图卷积GCN和图注意力GAT的区别
m0_37876745的博客
02-14 7441
文章翻译自 DGL文档https://docs.dgl.ai/en/latest/tutorials/models/1_gnn/9_gat.html 文章末尾是原文： GCN和GAT的关键区别在于，如何聚合来自临近邻居的信息（指一条，文章里说的是one-hop）。 对于GCN而言， 一个图的卷积运算产生邻节点特征的归一化和。 其中N(i)为其一跳邻居的集合(若要在集合中包含vi，只需...
Spline(三次样条插值)
热门推荐
风翼冰舟的博客
09-09 8万+
三次样条插值
论文翻译-A Comprehensive Survey on Graph Neural Networks《图神经网络GNN综述》
李滚滚的博客
01-31 3万+
文章目录1 简介1.1 GNN简史1.2 GNN的相关研究1.3 GNN vs 网络嵌入1.4 文章的创新型2 定义3 分类和框架3.1 GNNs分类3.2 框架4 图卷积网络4.1 基于光谱的GCN4.1.1 背景4.1.2 基于光谱的GCN方法4.1.3 总结4.2 基于空间的GCN4.2.1 基于循环的空间GCNs4.2.2 基于组合的空间GCNs4.2.3 空间GCNs的其他变体4.3 图...
带你读论文：WL算法到神经网络：high-order GNN
deep_revealer的博客
12-07 2580
论文：《Weisfeiler and Leman Go Neural: Higher-Order Graph Neural Networks》 发表于AAAI-2019 文章脉络： 1.证实了GNN在非同构图区分上并不比WL算法强，并且在某种特定情况下，GNN与WL算法具有同等效力，所以也具有相同的问题 2.从K-WL算法受到启发提出了K-GNN模型，从粗细粒度方面能够更好的提取信息 3.实验证实了文章提出的higher-order GNN对于图分类和图回归都十分重要 文章在介绍相关方法时主要分成了两部分
B-Spline样条曲线
qq_25144705的博客
08-10 6829
 原文地址：http://old.sebug.net/paper/books/scipydoc/scipy_intro.html，转载请注明出处！ interpolate库提供了许多对数据进行插值运算的函数。下面是使用直线和B-Spline对正弦波上的点进行插值的例子。   #coding = utf-8 import numpy as np import pylab as pl from...
深度图卷积网络在ICCV 2019的探索
"DeepGCNs.pptx 是ICCV 2019会议上关于深度图卷积网络（DeepGCNs）的论文发表演示文稿。该文稿探讨了GCNs（图卷积网络）能否像CNNs（卷积神经网络）那样实现深度学习，并对比了网格数据与一般图形数据在处理各种类型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值