读 Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks

最新推荐文章于 2024-04-17 09:36:11 发布
最新推荐文章于 2024-04-17 09:36:11 发布
阅读量1k 收藏 8
点赞数 3
分类专栏： 多读文献 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_34197944/article/details/104947363
版权

 

 

论文信息

目录

背景

创新点

动机

Cluster-GCN的工作原理

图

优势

学习到的新知识

背景

  • 图卷积网络(GCN)已经成功地应用于许多基于图的应用中;然而，训练一个大规模的GCN仍然具有挑战性。当前的基于随机梯度下降的算法要么计算成本高（随着GCN层数的增加呈指数增长），要么需要很大的空间来保存整个图并将每个节点嵌入到内存中。
  • 小批量算法的效率可以用“嵌入利用率”的概念来描述，它与一个批量或批内的节点之间的链接数量成正比。
  • 图聚类算法旨在构造节点的分区，从而使同一分区中的节点之间的图链接比不同分区中的节点之间的图链接更多。但对图进行分区后，删除了一些链接。因此，性能可能会受到影响。并且图形聚类算法倾向于将相似的节点聚在一起。因此，集群的分布可能与原始数据集不同，从而导致在执行SGD更新时对整个梯度的有偏估计。

 

创新点

  • 训练图卷积网络的过程中，使用图聚类算法设计batches。
  • 进一步提出了随机多聚类框架来提高Cluster-GCN的收敛性。

 

动机

  • 在小批量处理SGD更新中，能否设计一个批处理和相应的计算子图来最大化嵌入利用率？作者通过将嵌入利用率的概念与簇目标联系起来回答了这个问题。
  • 为了重新组合簇间的链接，减少不同批次间的方差，减少对SGD收敛的影响。

 

Cluster-GCN的工作原理

在每个步骤中，它对与图聚类算法识别的稠密子图相关联的节点块进行采样，并限制在该子图中进行邻域搜索。在构建批量进行SGD更新时，没有只考虑一个簇，而是随机选择q个簇。

 

图

图1 展示的是完整的图（左）和聚类分区的图（右）。可以看到，Cluster-GCN可以避免繁重的邻居搜索，并将重点放在每一个同簇中的邻居上。

表2展示了两种不同的节点分区策略：随机分区和聚类分区。大多数聚类分区批次的标签熵较低，表明每个批次内的标签分布是倾斜的；相比之下，同一批中随机划分有更大的标签熵。可以看出，在相同的epoch数量下，使用聚类划分可以达到更高的精度，这表明使用图聚类是很重要的，分区不应该是随机形成的。

图3是随机多分区方案在Reddit上的实验过程，相同的色块在同一批次。在每个epoch中，随机采样q个簇(本例中使用q = 2)和簇间的链接，以形成一个新的批处理。说明了对于每个epoch，选择不同的簇组合作为一个批处理。以证明该方法的有效性。

图4是实验中用一个簇和多个簇作为batch的比较。前者使用300个分区。后者使用1500个，随机选择5个形成一批。epoch (x轴)和F1得分(y轴)。可以看到使用多个簇作为一个批处理可以提高收敛性。

 

优势

  • 在规模方面，可以在大规模图数据上训练非常深的GCN。
  • 在内存方面，只需存储当前批处理中的节点嵌入，即批处理的大小。
  • 在计算复杂度方面，算法以梯度下降的方式达到了与邻域搜索方法相同的时间开销，并且比邻域搜索方法快得多。
  • 在收敛速度方面，与其他基于sgd的方法相比是有竞争力的。
    • GCN的第一篇论文[9](GCN开山之作：2017. Semi-Supervised Classification with Graph Convolutional Networks. In ICLR)提出了全批次梯度下降（Full-batch gradient descent）。要计算整个梯度，它需要存储所有中间embeddings,，导致O(NFL)内存需求，这是不可扩展的。此外，虽然每个epoch的时间是有效的，但梯度下降的收敛速度较慢，因为每个epoch只更新一次参数。[memory: bad; time per epoch: good; convergence: bad]
    • 在[5]（SAGE：Inductive Representation Learning on Large Graphs）中提出了Mini-batch SGD。由于每次更新只基于一个mini-batch的梯度，它可以减少内存需求，并在每个epoch执行多次更新，从而加快了收敛速度。然而，由于邻居扩展问题，mini-batch SGD在计算L层单个节点的损失时引入了大量的计算开销，它要求节点的邻居节点在L-1层的embeddings，这又要求邻居节点在L-2层的embeddings，和在下游层的递归embeddings。这导致时间复杂度指数达到GCN深度。图SAGE[5]（Inductive Representation Learning on Large Graphs）提出通过在层的反向传播过程中使用固定大小的邻居样本和FastGCN[1]提出的重要抽样，但这些方法的开销仍然很大，并且在GCN深入时会变得更糟。[memory: good; time per epoch: bad; convergence: good]
    • VR-GCN[2]提出采用减少variance（方差）技术来减小邻域采样节点的大小。尽管成功地减小了采样大小(在文中的实验中，VR-GCN每个节点只有2个样本工作得很好)，但它需要将所有节点的所有中间的embeddings存储在内存中，从而导致O(NFL) O(N F L)O(NFL)内存需求。如果图形中的节点数量增加到数百万个，那么对于VR-GCN的内存需求可能太高，无法适应GPU。[memory: bad; time per epoch: good; convergence: good]
  • 最后，算法实现简单，因为我们只计算矩阵乘法，不需要邻域采样。

 

学习到的新知识

Requirements（此链接是对这些库的解释）:

networkx           1.11
tqdm               4.28.1
numpy              1.15.4
pandas             0.23.4
texttable          1.5.0
scipy              1.1.0
argparse           1.1.0
torch              0.4.1
torch-geometric    0.3.1
metis              0.2a.4
scikit-learn       0.20
torch_spline_conv  1.0.4
torch_sparse       0.2.2
torch_scatter      1.0.4
torch_cluster      1.1.5

 Data

输入数据有三个csv文件，分别是：边 edges.csv，特征矩阵 features.csv 和 标签 target.csv。

  • edges.csv：id1, id2
  • features.csv ：node_id, feature_id, value
  • target.csv：node_id, target

GCN过程简述

对于一个图，GCN采用图卷积运算逐层地获取节点的embedding：在每一层，要获取一个节点的embedding，需要通过采集相邻节点的embedding，然后进行一层或几层线性变换和非线性激活。最后一层embedding将用于一些最终任务。例如，在节点分类问题中，最后一层embedding被传递给分类器来预测节点标签，从而可以对GCN的参数进行端到端的训练。

机器学习中的偏差与方差 噪声等

https://blog.csdn.net/bqw18744018044/article/details/82917981?depth_1-utm_source=distribute.pc_relevant_right.none-task&utm_source=distribute.pc_relevant_right.none-task

 

 

 

uuup111
关注
  • 3
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
图神经网络（二十六）Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networ
码匀的博客
04-05 717
本文收录于KDD2019，作者来自国立台湾大学。图卷积网络已经成功地应用于许多基于图数据的应用，然而，但对于大型GCN来说其训练仍然具有挑战性，目前基于SGD的算法要么面临着随GCN层数呈指数增长的高昂计算成本，要么面临着保存整个图形和每个节点的embedding到内存的巨大空间需求。本文作者提出了基于图聚类优化的图卷积神经网络（Cluster-GCN），使得图卷积神经网络计算效率能在时间空间收敛性等多方面得到较大的提升，让很多过去难以训练，难以部署的模型在大规模环境中得以应用。具体来说，Cluster-G
Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks翻译
ziqingnian的博客
01-18 553
Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks ABSTRACT 问题：训练大规模的GCN仍然具有挑战性，当前基于SGD的算法的计算成本随着GCN层数的增长呈指数增长。 方法：Cluster-GCN算法，利用图的聚类结构，适用于基于奇异值分解的训练。 原理：每次对由图聚类算法识别的密集子图相关联的节点块进行采样，并且限制该子图的邻域搜索。 Cluster-GCN
探索FastGCN：高效图卷积网络实现
最新发布
gitblog_00093的博客
04-17 351
探索FastGCN：高效图卷积网络实现 项目地址:https://gitcode.com/matenure/FastGCN FastGCN 是一个基于PyTorch的库，专注于优化和加速图卷积网络（Graph Convolutional Networks, GCNs）的训练过程。该项目由Mateusz Matena和Jure Leskovec等人开发，旨在解决传统GCN在大规模图数据上的效率问题。...
Cluster-GCN An Efficient Algorithm for Training Deep and Large Graph...ppt pdf
08-19
Cluster-GCN An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks ppt pdf 资源分享
Cluster-GCN: An Efficient Algorithm for Training Deep andLarge Graph Convolutional Networks
qq_40621192的博客
09-13 711
论文来源：In The 25th ACM SIGKDD Con ference on Knowledge Discovery and Data Mining (KDD ’19), August 4–8, 2019, Anchorage, AK, USA. ACM, New York, NY, USA, 10 pages. 作者：Wei-Lin Chiang 论文题目：Cluster-GCN: An Efficient Algorithm for Training Deep andLarge Graph Co
2019-KDD-Cluster-GCN, An Efficient Algorithm for Training Deep a
08-08
标题中的"2019-KDD-Cluster-GCN, An Efficient Algorithm for Training Deep"指的是一种在2019年KDD（ ACM SIGKDD Conference on Knowledge Discovery and Data Mining）会议上提出的深度学习算法，名为Cluster-GCN...
MixHop-and-N-GCN：“ MixHop：通过稀疏邻域混合进行的高阶图卷积体系结构”的实现（ICML 2019）
02-06
MixHop和N-GCN ⠀ PyTorch实现的“ MixHop：通过稀疏邻域混合进行的高阶图卷积体系结构”（ICML 2019）和“一个高阶图卷积层”（NeurIPS 2018）。 抽象 最近的方法通过近似图拉普拉斯算子的本征基，将卷积层从...
[GCN] 代码解析 of GitHub：Semi-supervised classification with graph convolutional networks
01-21
本文解析的代码是论文Semi-Supervised Classification with Graph Convolutional Networks作者提供的实现代码。 原GitHub：Graph Convolutional Networks in PyTorch 本人增加结果可视化 (使用 t-SNE 算法) 的GitHub...
Python-PyTorch实现的ClusterGCN一种用于训练深度和大型图形卷积网络的高效算法
08-11
A PyTorch implementation of "Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks" (KDD 2019).
[论文笔记]Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks
热门推荐
知行合一，止于至善
08-24 1万+
文章目录Abstract1. IntroductionPrevious GCN Training Algorithms2. Background图卷积网络（GCNs）3. Proposed AlgorithmWhy does vanilla mini-batch SGD have slow per-epoch time?Embedding utilization can reflect compu...
LADIES:NeurIPS'19“用于训练深度和大型图卷积网络的层相关重要性采样”的代码
05-30
概述 LADIES（Layer-Dependent Importance Sampling for Training Deep and Large Graph Convolutional Networks）是一种用于训练 GNN 的新型采样算法。 它考虑先前采样的节点来计算依赖于层的采样概率。 LADIES基于上层中的采样节点，选择其邻居节点，据此计算重要性概率，并在其中采样固定数量的节点。 我们从理论上和实验上证明，我们提出的采样算法在时间、内存和准确性方面优于以前的采样方法。 您可以查看我们的 NeurIPS 2019 论文以获取更多详细信息。 设置 此实现基于 Pytorch 我们假设您使用的是安装了 pip 的 Python 3。 要运行代码，您需要以下依赖项： 我们将三个小的基准节点分类数据集 cora、pubmed 和 citeseer 上传到 /data 中以供使用。 您
GGNN和GCN的几篇论文笔记
03-10
GGNN和GCN的几篇论文笔记，介绍常用的两种图神经网络。个人笔记。
网络表示学习_北京大学_2018SMP全国社会媒体处理大会
08-23
该文档是2018SMP全国社会媒体处理大会(哈尔冰)北京大学宋国杰老师的讲义网络表示学习，欢迎大学下载学习。
【论文翻译】Cluster-GCN：用于训练深度和大型图卷积网络的高效算法
qq_43729929的博客
09-29 1696
聚类GCN：一种用于深度学习和大型图卷积网络的高效算法训练一个大规模的GCN仍然具有挑战性，目前基于SGD的算法要么面临着很高的计算成本，并且随着GCN层的数量呈指数级增长，要么对于将整个图和每个节点的Embedding存放到内存中，占用巨额内存。在本文中，我们提出了一种新的GCN算法，它适用于基于SGD的训练。工作原理如下：在每个步骤中，它对与由图聚类算法识别出的密集子图相关联的一组节点进行采样，并限制该子图内的邻居搜索。这种简单但有效的策略显著提高了内存和计算效率，同时能够实现与以前的算法相当的测试精度
GNN学习笔记（六）：Cluster-GCN：一种用于训练深度和大型图卷积网络的高效算法
LuoMin2523的博客
07-01 3627
引言 普通的基于SGD的图神经网络的训练方法，存在着以下问题： 问题1：计算成本较大问题。随着图神经网络层数增加，计算成本呈指数增长。 问题2：内存消耗巨大问题。保存整个图的信息和每一层每个节点的表征到内存（显存）而消耗巨大内存（显存）空间。 解决措施： 方法1：无需保存整个图的信息和每一层每个节点的表征到GPU内存（显存）的方法。 方法1存在的问题：可能会损失预测精度或者对提高内存的利用率并不明显。 方法2：论文Cluster-GCN: An Efficient Algorithm for
Cluster-GCN：子图划分，特别适合大规模的同质图数据
褚骏逸的学习之路
08-04 5438
1. Cluster-GCN 聚类GCN：一种对大而深的图卷积网络训练的高效算法 发表时间： 2019年8月4日发表在KDD 2019上。 1.1.参考资料 论文链接：Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks GitHub链接：ClusterGCN: A PyTorch implementation DGL链接：DGLexamples 1.2.GCN面临的挑战：大规
超大图cluster gcn
qq_26387487的博客
07-01 423
Cluster-GCN方法简单概括 为了解决普通训练方法无法训练超大图的问题，Cluster-GCN论文提出： 利用图节点聚类算法将一个图的节点划分为 [公式] 个簇，每一次选择几个簇的节点和这些节点对应的边构成一个子图，然后对子图做训练。 由于是利用图节点聚类算法将节点划分为多个簇，所以簇内边的数量要比簇间边的数量多得多，所以可以提高表征利用率，并提高图神经网络的训练效率。 每一次随机选择多个簇来组成一个batch，这样不会丢失簇间的边，同时也不会有batch内类别分布偏差过大的问题。 基于小图进行训练，
SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS 代码
07-27
很抱歉，根据提供的引用内容，我无法提供关于"SEMI-SUPERVISED CLASSIFICATION WITH GRAPH CONVOLUTIONAL NETWORKS"代码的信息。引用的内容主要介绍了图上结点分类的半监督问题以及相关的研究方法和改进。如果您需要获取该代码，建议您查阅相关的学术论文或者在开源代码平台上搜索相关的项目。 #### 引用[.reference_title] - *1* [Semi-supervised classification with graph convolutional networks](https://blog.csdn.net/weixin_41362649/article/details/113232898)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [Kipf-GCN《Semi-Supervised Classification With Graph Convolutional Networks》论文详解](https://blog.csdn.net/u012762410/article/details/127177181)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [Semi-Supervised Classification with Graph Convolutional Networks](https://blog.csdn.net/m0_37924639/article/details/124884547)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值