【论文笔记】：对Cluster-GCN的一个想法

已于 2022-09-05 12:17:14 修改
阅读量184 收藏 1
点赞数
文章标签： 聚类 深度学习 神经网络
于 2022-03-19 18:58:38 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/uknoweve/article/details/123600190
版权

Cluster-GCN在本质上和原始的GCN是相似的。

前者的一个batch为一个cluster，而后者的一个batch其实也是一个cluster，只不过这个cluster是图的全部结点。

这一点在原论文中也能得到验证：

上图是原论文中各方法的时间复杂度和空间复杂度，如果我们把Cluster-GCN的参数b（一个batch的大小）设为N（全图结点数），那么由上图可见，Cluster-GCN的时间空间复杂度就和GCN一模一样了。

uknoweve
关注
GNN学习笔记（六）：Cluster-GCN：一种用于训练深度和大型图卷积网络的高效算法
LuoMin2523的博客
07-01 3943
引言 普通的基于SGD的图神经网络的训练方法，存在着以下问题： 问题1：计算成本较大问题。随着图神经网络层数增加，计算成本呈指数增长。 问题2：内存消耗巨大问题。保存整个图的信息和每一层每个节点的表征到内存（显存）而消耗巨大内存（显存）空间。 解决措施： 方法1：无需保存整个图的信息和每一层每个节点的表征到GPU内存（显存）的方法。 方法1存在的问题：可能会损失预测精度或者对提高内存的利用率并不明显。 方法2：论文Cluster-GCN: An Efficient Algorithm for
Cluster-GCN：子图划分，特别适合大规模的同质图数据
褚骏逸的学习之路
08-04 5803
1. Cluster-GCN 聚类GCN：一种对大而深的图卷积网络训练的高效算法 发表时间： 2019年8月4日发表在KDD 2019上。 1.1.参考资料 论文链接：Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks GitHub链接：ClusterGCN: A PyTorch implementation DGL链接：DGLexamples 1.2.GCN面临的挑战：大规
图卷积网络GCN（Graph Convolution Network）（三）详解三代图卷积网络理论
梦家の博客
04-24 4549
图上的谱图卷积 根据卷积定理：函数卷积的傅立叶变换是函数傅立叶变换的乘积。公式如下： F(f∗h)=f^(w)⋅h^(w) (13) F(f*h)=\widehat f(w)\cdot\widehat h(w)\ \quad\quad\quad (13) F(f∗h)=f​(w)⋅h(w) (13) 其中*表示卷积，根据公式（13）和公式（10）可以得到: f∗h=F−1(f^...
[论文笔记]Cluster-GCN: An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks
热门推荐
知行合一，止于至善
08-24 1万+
文章目录Abstract1. IntroductionPrevious GCN Training Algorithms2. Background图卷积网络（GCNs）3. Proposed AlgorithmWhy does vanilla mini-batch SGD have slow per-epoch time?Embedding utilization can reflect compu...
ST-GCN复现的全过程（详细）
m0_56698268的博客
05-16 1万+
目录 提前工作 服务器 本机环境 数据集 运行逻辑 第一步 处理数据集 第二步训练网络 第三步 测试 总结的问题 提前工作 服务器 我其实复现了2次，第一次是用的3070，第二次尝试了并行超算云服务器，里面有8张 A100。两个都是采用了本机远程ssh连接服务器跑。（超算云服务器跑ST-GCN的一些配置可以之前写的博客：并行超算云直连SSH，Pycharm运行ST-GCN_Eric加油学！的博客-CSDN博客） 本机环境 第一次完整复现过程是在win的vscode上，p...
【论文笔记】FedGraph：Federated Graph Learning with Intelligent Sampling
weixin_43747691的博客
09-20 1688
FedGraph：Federated Graph Learning with Intelligent Sampling
GCN的几种模型复现笔记
submarineas的博客
03-22 1631
本篇笔记紧接上文，主要是上一篇看写了快2w字，再去接入代码感觉有点不太妙，后台都崩了好几次，因为内存不足，那就正好将内容分开来，可以水两篇，另外也给脑子放个假，最近事情有点多，思绪都有些乱，跳出原来框架束缚，刚好这篇自由发挥。
论文笔记-Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning
test
04-13 1738
论文题目：Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning(AAAI 2018) 论文链接：arxiv 摘要 GCN在卷积层中很好地聚合了局部结点特征和图拓扑结构信息，但它的机制并不清楚（类似一个黑匣子），它仍然需要大量的标记数据来验证和选择模型。 在本文中，我们对GCN模型进行了深入的研究，并指出了它的基本的局限性。首先，我们 ** 证明了GCN模型的图卷积实际上是拉普拉斯平滑的一种特殊形式，这是G
2019-KDD-Cluster-GCN, An Efficient Algorithm for Training Deep a
08-04
Cluster-GCN 算法的核心思想是：在每一步，选择一个稠密子图，限制邻域搜索在该子图内。这一种简单但有效的策略可以大幅度提高内存和计算效率，同时保持与之前算法相似的测试准确率。 Cluster-GCN 算法的优点包括...
Cluster-GCN An Efficient Algorithm for Training Deep and Large Graph...ppt pdf
08-19
Cluster-GCN An Efficient Algorithm for Training Deep and Large Graph Convolutional Networks ppt pdf 资源分享
Cluster-GCN: An Efficient Algorithm for Training Deep andLarge Graph Convolutional Networks
qq_40621192的博客
09-13 777
论文来源：In The 25th ACM SIGKDD Con ference on Knowledge Discovery and Data Mining (KDD ’19), August 4–8, 2019, Anchorage, AK, USA. ACM, New York, NY, USA, 10 pages. 作者：Wei-Lin Chiang 论文题目：Cluster-GCN: An Efficient Algorithm for Training Deep andLarge Graph Co
DGL系列之(二)：使用DGL实现GCN
just_so_so_fnc的博客
03-10 5014
import dgl import dgl.function as fn import torch as th import torch.nn as nn import torch.nn.functional as F from dgl import DGLGraph gcn_msg=fn.copy_src(src="h",out="m") gcn_reduce=fn.sum(msg="m",...
MATLAB和Python及R聚类和亚群识别
跨学科知识视角展现
11-08 817
在 MATLAB 中进行聚类和亚群识别可以使用一些内置函数和工具箱，如 **Statistics and Machine Learning Toolbox** 和 **Bioinformatics Toolbox**。以下是如何使用 MATLAB 进行聚类和亚群识别的详细步骤，尤其是用于检测和分析选择性扰动效应。
CNN和MobileNetV2搭建的水果识别模型
chengxuyuanlaow的博客
11-09 720
在本项目中着重探索了利用深度学习模型进行水果图像分类的方法。具体而言包括使用卷积神经网络（CNN）模型进行水果图片的分类和探索轻量级神经网络模型MobileNetV2在水果图像分类中的应用。在第一项任务中，使用TensorFlow构建了一个简单的CNN模型，并通过调整模型参数来提高准确率。在实验过程中发现由于数据集的问题，训练结果并不理想，测试集上的准确率低于预期，同时出现了过拟合的情况。针对这个问题，从优化器、学习率和训练轮次等方面入手，对模型进行了改进和调整。
[卷积神经网络]使用YOLOv11训练自己的模型
就随便写写....
11-08 691
使用YOLOv11训练自己的数据
每天五分钟深度学习PyTorch：基于全连接神经网络完成手写字体识别
huanfeng_AI的博客
11-09 288
上一节我们学习了搭建普通的全连接神经网络，我们现在用它来解决一个实际问题，我们用它跑一下手写字体识别的数据，然后看看它的效果如何。
《深度学习》——深度学习基础知识（全连接神经网络）
qq_59702185的博客
11-07 1053
在介绍神经网络之前，我们先看下面这幅图：人工智能>机器学习>深度学习深度学习是机器学习的⼀个⼦集，也就是说深度学习是实现机器学习的⼀种⽅法。与机器学习算法的主要区别如下图所示：传统机器学习依赖于人工设计特征，并进行特征提取，而深度学习算法不需要人工，而是依赖算法自动提取特征，这也是深度学习被看做黑盒子、可解释性差的原因。卷积神经网络（CNN）循环神经网络（RNN）生成对抗网络（GAN）深度强化网络（DRN）
深度学习经典模型之VGGNet
weixin_43775295的博客
11-08 482
​ VGGNet是由牛津大学视觉几何小组（Visual Geometry Group, VGG）提出的一种深层卷积网络结构，他们以7.32%的错误率赢得了2014年ILSVRC分类任务的亚军（冠军由GoogLeNet以6.65%的错误率夺得）和25.32%的错误率夺得定位任务（Localization）的第一名（GoogLeNet错误率为26.44%）5^{[5]}5，网络名称VGGNet取自该小组名缩写。VGGNet是首批把图像分类的错误率降低到10%以内模型，同时该网络所采用的3×3。
机器学习、深度学习面试知识点汇总
最新发布
11-12 179
本人在面试中整理的资料和文字，主要针对机器学习、深度学习面试八股做浅显的总结，共20余篇，大部分来源于ChatGPT，欢迎各位指正。 文章系列图像使用动漫《星游记》插图。
Cluster-GCN：深度与大规模图卷积网络的高效训练策略
5. **结论**：Cluster-GCN通过创新的图划分和局部训练策略，成功地解决了深度和大型图卷积网络训练中的关键挑战，提供了一种既高效又具有竞争力的解决方案。 Cluster-GCN是一个重要的里程碑，它在处理大规模图数据...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值