图神经网络论文阅读(二十一) Simplifying Graph Convolutional Networks，ICML2019

最新推荐文章于 2022-09-29 09:46:49 发布
最新推荐文章于 2022-09-29 09:46:49 发布
阅读量641 收藏 3
点赞数
分类专栏： GNN Model 文章标签： 图神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36618444/article/details/109639481
版权
本文来自Cornell University和Federal Institute of Ceara，探讨了GCN的复杂性问题，提出了Simple Graph Convolution (SGC)模型，通过去除非线性并压缩为单线性变换降低复杂性。SGC被证明等价于图形谱域上的低通滤波器，解释了GCN的renormalization trick。实验展示了SGC在图分类任务上的有效性和效率。
摘要由CSDN通过智能技术生成

本文作者来自Cornell University， Federal Institute of Ceara (Brazil)。
本文提到，GCNs从其深度学习传承中继承了相当大的复杂性，这对于要求较低的应用程序来说可能是负担和不必要的。因此本文旨在采用线性模型的方式去降低GCN的复杂度，通过反复去除GCN层之间的非线性，并将结果函数压缩为单个线性变换，来降低GCNs的过度复杂性，并提出网络Simple Graph Convolution (SGC)。

Model

在这里插入图片描述
假设GCN层之间的非线性不是关键的——但是大部分好处来自于局部平均。因此，本文删除了每一层之间的非线性过渡函数，只保留最后的softmax(以获得概率输出)。得到的模型是线性的，但仍然具有k层GCN相同的接受域增加。因此模型可以简化为：
在这里插入图片描述
其中

了解本专栏 订阅专栏 解锁全文 超级会员免费看
五月的echo
关注
专栏目录
订阅专栏
论文笔记：ICML 2019 Simplifying Graph Convolutional Networks
qq_44015059的博客
09-17 921
前言 随着2017年GCN概念的提出，近年来越来越多的GCN方法被提出。由于GCN本身的提出来源于深度学习中CNN和RNN的概念，因此可能会继承其中一些不必要的复杂度和冗余计算，本文提出了一种简化的图卷积方法(Simplifying Graph Convolutional)。通过消除GCN层之间的非线性计算，通过将得到的函数折叠成一个线性变换来减少GCN带来的额外复杂度，并且从图卷积的根源–频谱分析中得到SGC的理论支撑，证明了SGC相当于一个固定的低通道滤波器和一个线性分类器。试验结果表明，这些简化不会多
Simplifying Graph Convolutional Networks
qq_42617455的博客
08-22 2122
一、相关介绍 CNN处理的图像或者视频数据中像素点是排列整齐的矩阵（Euclidean Structure），如图2。但是如社交网络、信息网络中存在一些Non Euclidean Structure的数据，如图3. 图1 图像矩阵示意图 图2 社交网络拓扑示意图 所以，GCN中的Graph指的是数学中的用顶点和边建立相应关系的拓扑图。产生的原因如下： CNN无法处理Non Euclidean Structure的数据（离散卷积无法在这样的数据上保持平移不变性），也就是每个拓扑图中每个顶点的相邻顶点数目都
SGC - Simplifying Graph Convolutional Networks 简化的图卷积网络 论文详解 ICML 2019
知行合一，止于至善
10-15 1万+
文章目录1 相关介绍1.1 Simple Graph Convolution (SGC)提出的背景1.2 SGC效果2 Simple Graph Convolution 简化的图卷积2.1 符号定义2.2 图卷积网络GCNGCN vs MLPFeature propagation 特征传播Feature transformation and nonlinear transition分类器2.3 简...
【论文笔记】Simplifying Graph Convolutional Networks --- LCML2019
weixin_44884854的博客
10-13 1486
本文介绍了一种简化版的GCN网络，其在某些任务上取得了与其他方法相媲美的成绩，并且大大减少了运算量，调高了计算效率。 概述 GCN和它的变体已经成为了图表示学习的事实方法。GCN的灵感主要来自最近的深度学习方法，它可能继承了一些不必要的复杂性和冗余计算。在本文中，我们将通过移除连续层中的非线性变换、折叠权重矩阵来减少计算过量的复杂度。我们从理论上分析了所得到的线性模型，并表明它等价于一个固定的低通滤波器（后面有个线性分类器）。模型对大多数下游任务没有负面影响。 1 介绍 GCNs是CNN在图结.
论文学习笔记：Simplifying Graph Convolutional Networks
weixin_40675092的博客
06-25 255
原文连接 https://arxiv.org/pdf/1902.07153.pdf 本文作者提出SGC，通过移除非线性变换和压缩卷积层之间的权重矩阵来降低 GCN 的复杂性。并且作者在理论上分析了得到的线性模型，认为它实际上是一个固定的低通滤镜，后接线性分类器。实验表明，这种简化，并且不会对下游分类器的准确度带来负面影响。因此，模型可以推广到更大的数据集，并且比FastGCN产生高达两个数量级的加速。 GCN中的网络层有个重要的功能，在每一层中，隐含状态的表达是由一步邻居的特征平均得到的。也就是说，K层之
可扩展图神经网络论文追踪
jkokj23153的博客
09-29 521
可扩展图神经网络论文追踪
KDD 2021 | 异质图神经网络的可微元图搜索
Paper weekly
10-10 1642
论文标题：DiffMG: Differentiable Meta Graph Search for Heterogeneous Graph Neural Networks论文地址：http...
【6篇文章串讲ScalableGNN】围绕WWW 2022 best paper《PaSca》
chadlee
07-19 874
文章先归纳了ScalableGNN的架构范式。Sampling-based的方法不算ScalableGNN，因为这些模型在训练过程中还需要聚合邻居节点，分布式场景下通信开销避免不了。
腾讯Angel Graph团队刷新GNN最强榜单OGB世界纪录!
Tencent_BigData的博客
09-02 593
导读/Introduction 近日，在国际顶级图学习标准OGB（Open Graph Benchmark）挑战赛中，腾讯大数据Angel Graph团队联合北京大学-腾讯协同创新实验室，以较大优势在三个最大的OGB分类数据集：ogbn-papers100M、ogbn-products和ogbn-mag三项任务榜单第一！ OGB是目前公认最权威的图学习通用性能评价基准数据集，由斯坦福大学Jure Leskovec教授团队建立并开源，并吸引了斯坦福大学、康奈尔大学、Facebook、N...
Python-SimplifyingGraphConvolutionalNetworks论文的官方实现
08-11
"Simplifying Graph Convolutional Networks"论文的官方实现
SGC：“简化图卷积网络”论文的正式实施
02-03
简化图卷积网络 更新 正如＃23所指出的，在reddit数据集的预处理代码中存在一个细微的错误。 修复此错误后，SGC的F1得分为95.0（以前是94.9）。 实用建议：标准化特征为零均值且标准差为1的值通常会非常有帮助，以加快SGC（和许多其他线性模型）的收敛。 例如，我们应用此规范化。 将SGC应用于其他数据集时，请考虑这样做。 有关一些相关的讨论，请参见以及。 作者： * * * *：平等贡献 总览 此存储库包含简单图卷积（SGC）模型的示例实现，在ICML2019论文《。 SGC消除了非线性并折叠了图卷积网络（GCN）中的权重矩阵，并且本质上是一个线性模型。 举例来说， SGC可以在保持竞争优势的同时节省大量培训时间。 作为参考，在GTX 1080 Ti上， 数据集 公制 训练时间 科拉 累计：81.0％ 0.13秒 Citeseer 累计：71.9％ 0.14秒 Pubmed 累计：78.9％ 0.29秒 Reddit F1：94.9％ 2.7秒 该家庭仓库包含引文网络（Cora，Citeseer和Pubmed）和社交网络（Reddit）的实现
【论文阅读】Simplifying Graph Convolutional Networks
qq_43955154的博客
05-06 840
SGC浅读
改进版GCN 学习Simplifying Graph Convolutional Networks
weixin_43537073的博客
01-15 2605
本文是SGC（简化版GCN），主要通过连续去除非线性和在连续层之间的折叠权矩阵来减少GCN的复杂性。而且这些简化不会对准确性产生负面影响。在Reddit上比FastGCN产生两个数量级的加速。 文章目录一、Introduction一、pandas是什么？ 一、Introduction 简单来说，本文就是把非线性的GCN转换成一个简单的线性模型SGC，反复消除GCN层之间的非线性并将得到的函数折叠成一个线性变换来减少GCNs额外的复杂度。其实对于要求较低的应用来说，这是不必要的。 一、pandas是什么？
《Simplifying Graph Convolutional Networks》阅读笔记
LW的技术小筑
11-25 566
文章概述 作者指出现如今GCN和其变体模型好多遵从如下范式： Hl+1=σ(SHkWk+1)(1) H^{l + 1} = \sigma(SH^{k}W^{k + 1}) \tag{1} Hl+1=σ(SHkWk+1)(1) 其中σ\sigmaσ表示非线性变换，例如RELU，矩阵SSS表示包含图结构信息的各种矩阵变体，例如D−1/2AD−1/2D^{-1/2}AD^{-1/2}D−1/2AD−1/2，而Wk+1W^{k + 1}Wk+1表示第k+1k + 1k+1层的可学习的权重矩阵。但这种范式的GCN模型
【图神经网络】SGC：简化图卷积网络
bqw的博客
04-05 3337
SGC：简化图卷积网络 《Simplifying Graph Convolutional Networks》 论文地址：https://arxiv.org/abs/1902.07153 一、简介 ​ 图卷积神经网络(Graph Convolutional Networks,GCNs\text{Graph Convolutional Networks,GCNs}Graph Convolutional Networks,GCNs)是卷积神经网络在图数据上的变体，其通过在非
图卷积Graph Convolutional Networks
热门推荐
lemontree的博客
07-18 2万+
CNN已经在计算机视觉（CV）以及自然语言处理等领域取得了非常好的水平，其中的数据可以被称作是一种Euclidean Data，CNN正好能够高效的处理这种数据结构，探索出其中所存在的特征表示。所谓的欧氏（欧几里德）数据指的是类似于grids, sequences… 这样的数据，例如图像就可以看作是2D的grid数据，语音信号就可以看作是1D的grid数据。但是现实的处理问题当中还存在大量的 No...
图卷积网络（Graph Convolutional Network）
bbbeoy的专栏
04-01 279
https://blog.csdn.net/lijunweiyhn/article/details/87926425
图神经网络（二十一）ADAPTIVE UNIVERSAL GENERALIZED PAGERANK GRAPH NEURAL NETWORK
码匀的博客
03-28 1053
本文收录于ICLR2021，作者来自于美国伊利诺伊大学香槟分校。今年的ICLR越加恐怖了，收录的文章数学功底雄厚，想法新颖，当然文章也越来越难看懂（/(ㄒoㄒ)/~~）。回到正题，GNN其主要设计的目的就是利用节点的特征和图的拓扑来来处理图数据，例如AM-GCN中就是通过自适应学习节点特征和拓扑图之间的关系从而对节点进行分类，前一篇GraLSP则是通过捕获图的结构模式来对节点进行嵌入学习。本文引入了一种新的广义PageRank-GNN架构来解决图的异构性和过平滑问题，该架构自适应的学习GPR权重，从而联合优
simplifying graph convolutional networks
最新发布
03-16
简化图卷积网络是一种用于图像识别和语音识别等任务的深度学习模型。它通过对图像或语音信号进行卷积操作来提取特征，然后将这些特征传递给后续的层进行分类或回归。简化图卷积网络的主要优点是可以处理任意形状的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

五月的echo

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值