GCN 学习 Simple and Deep Graph Convolutional Networks

最新推荐文章于 2023-12-13 21:04:26 发布
最新推荐文章于 2023-12-13 21:04:26 发布
阅读量1.6k 收藏 5
点赞数
分类专栏： 论文阅读 文章标签： 深度学习 人工智能 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43537073/article/details/112759394
版权

文章目录

一、Introduction

本次阅读文章为升级版GCN，使用两种技术即初始残差和恒等映射来缓解过度平滑即梯度爆炸或缺失的问题。这种深度GCNII模型在半监督和完全监督任务上的性能优于最新方法。
虽然GCN在后续的升级中取得了比较优越的性能，但是由于过度平滑的问题，大多数目前的GCN模型都是浅层的。最近的模型，例如GCN和GAT，在两层模型取得了非常好的性能，但这样的浅层结构限制了他们从更高阶的邻居中提取信息的能力。然而单纯的叠加层和增加非线性往往会降低模型的性能。因为在之前DropOut的论文中也提到过，GCN中的节点在更高的层数时往往会倾向于收敛到某个值。使得图不可区分，丧失节点特性。

二、ResNet的引入

什么是Resnet

从经验来看，网络的深度对模型的性能至关重要，当增加网络层数后，网络可以进行更加复杂的特征模式的提取，所以当模型更深时理论上可以取得更好的结果，从图2中也可以看出网络越深而效果越好的一个实践证据。但是更深的网络其性能一定会更好吗？实验发现深度网络出现了退化问题（Degradation problem）：网络深度增加时，网络准确度出现饱和，甚至出现下降。这个现象可以在图3中直观看出来：56层的网络比20层网络效果还要差。这不会是过拟合问题，因为56层网络的训练误差同样高。我们知道深层网络存在着梯度消失或者爆炸的问题，这使得深度学习模型很难训练。但是现在已经存在一些技术手段如BatchNorm来缓解这个问题。因此，出现深度网络的退化问题是非常令人诧异的。在这里插入图片描述
在这里插入图片描述
你必须要知道CNN模型：ResNet

不过单纯的在GCN中添加残差结构仅仅能够减缓过度平滑的现象，而无法根本的解决问题，两层以上的GCN仍面临过拟合的问题。

本文方案

在每一层，初始残差从输入层构建一个跳跃连接，而恒等映射在权值矩阵中添加一个单位矩阵。实验研究表明，当我们增加GCNII的网络深度时，这两种简单的技术可以有效地防止过度平滑，并一致地提高其性能。

其次，本文也对多层GCN和GCNII模型进行了理论分析。已知叠加 K K K 层的GCN本质上模拟了一个具有预定系数的 K K K 阶多项式滤波器。之前的研究指出，该滤波器模拟了一个懒惰的随机游走（lazy random walk），最终收敛到平稳向量，从而导致过平滑。

并且本文还证明了 K K K 层GCNII模型可以表示任意系数的 K K K 阶多项式谱滤波器。这个特性对于设计深度神经网络是必不可少的。并且作者还推导了平稳向量的封闭形式，并分析了普通GCN的收敛速度。分析表明，在多层GCN模型中，度比较大的节点更有可能出现过度平滑的现象。

GCNII 模型

我们已知K层GCN在图 G ^ \hat G G^的谱域上模拟了一个系数固定的K阶多项式滤波器 ( ∑ l = 0 K θ l L ^ ) x (\sum _{l=0}^{K}\theta_l\hat L)x (∑l=0K​θl​L^)x
)x。而固定的系数限制了多层GCN模型的表达能力，从而导致过度平滑。为了将GCN扩展到深层模型，我们需要使GCN能够表达一个具有任意系数的K阶多项式滤波器。本文证明这可以通过两种简单的技术来实现：初始残差连接和恒等映射。
形式上，我们将GCNII的第1层定义为：
在这里插入图片描述

α l 和 β l \alpha_l和\beta_l αl​和βl​是后续要讨论的两个超参数。
两点改进：
1.将带有初始残差连接的平滑表示 P ^ H （ l ) \hat PH^{（l)} P^H（l)与第一层 H ( 0 ) H^{(0)} H(0)相结合
2.在第l个权重矩阵上面增加了一个恒等映射 I n I_n In​

初始残差连接

作者提出与其使用剩余连接来融合来自前一层的信息，不如构建一个与初始表示 H ( 0 ) H^{(0)} H(0)
的连接。初始残差连接确保了即使我们堆叠了许多层，每个节点的最终表示也都至少保留了来自输入层的部分 α l \alpha_l αl​输入。可以将初始值设置为0.1，这样每个节点的表示至少包括最初始输入的一部分。

恒等映射

恒等映射同样借鉴于ResNet。在第 l l l 层中，作者在权重 W ( l ) W^{(l)} W(l) 中添加了一个单位矩阵 I n I_n In​

  • 和ResNet类似，恒等映射保证了深度模型至少与浅层模型准确率相同。 β l \beta_l βl​足够小就可以忽视权重矩阵。
  • 在半监督任务中，特征矩阵的不同维数之间的频繁相互作用会降低模型的性能。
  • 恒等映射在半监督学习非常有效。
  • 加入 β l \beta_l βl​控制的权重矩阵和单位矩阵后，可以讲权重矩阵的范数变得很小，防止收敛率过高，减轻信息丢失。
    设置 β l \beta_l βl​的目的是保证权重矩阵的衰减岁堆叠的层数增加而自适应增加。

迭代收缩阈值

作者考虑Lasso算法。

参考

https://blog.csdn.net/weixin_44936889/article/details/107880076

我咋就看不懂
关注
专栏目录
图神经网络（十六）Simple and Deep Graph Convolutional Networks
码匀的博客
03-20 721
本文收录于ICML2020，作者不知道哪个机构的。由于GCN本身的平滑性质，当前的GCN模型都局限于浅层模型，本文研究了深度卷积网络的设计与分析问题，在此基础上提出了GCNll模型，GCNll是对普通GCN的扩展，使用的是残差连接和单位映射。作者在理论上证明了本文模型有效的缓解了过平滑问题，最终实验表明该模型有着一定的提升。源码在这 Introduction 该部分说的主要还是GCN无法解决过平滑的问题，虽然当前提出了一些方法为了解决过平滑问题，例如SGC试图通过在单个神经网络层中应用图卷积矩阵的 kkk
【论文阅读笔记】Simple and Deep Graph Convolutional Networks
梁瑛平的博客
08-08 2751
【论文阅读笔记】Simple and Deep Graph Convolutional Networks1. 论文地址：2. 摘要：3. 简介：3.1 图卷积神经网络：3.2 传统GCN的局限性：3.3 一些解决方案：3.4 本文的方案：4. 相关研究：4.1 符号表示：4.2 GCN：5. GCNII 模型：5.1 模型简介：5.2 初始残差连接：5.3 恒等映射：5.4 迭代收缩阈值：6. 实验结果： 1. 论文地址： 论文：https://arxiv.org/pdf/2007.02133.pdf 源码
【论文笔记】Simple and Deep Graph Convolutional Networks
Running Snail
10-30 358
该论文由中国人民大学、复旦大学、阿里巴巴合作完成，第一作者为中国人民大学研究生陈明，通讯作者为中国人民大学教授魏哲巍。 1. 摘要 Graph Convolutional Network via Initial residual and Identity mapping(GCNII)，它是普通GCN模型的扩展，应用了两种简单而有效的技术：初始残差（Initial residual）和恒等映射（Identity mapping） 2. 简介 主要说了以下几点： GNN 传统GCN的局限：浅层 现.
[论文笔记]Simple and Deep Graph Convolutional Networks (GCNII) 原理
qianxie1的博客
10-17 675
GCNII Note 参考： Paper: Simple and Deep Graph Convolutional Networks (arxiv.org) 【论文阅读笔记】Simple and Deep Graph Convolutional Networks - 程序员大本营 (pianshen.com) Paper Motivation 目前大多数的GCN模型都是浅层的，如GCN，GAT模型都是在2层时取得最优效果，随着加深模型效果就会大幅度下降，经研究GCN随着模型层次加深会出现Over-S
【GCN】论文笔记：Simple and Deep Graph Convolutional Networks
m0_50611867的博客
01-17 557
文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 图卷积网络(GCNs)是一种强大的用于图结构数据的深度学习方法。最近，GCNs及其后续的变种在现实世界数据集的各个应用领域显示了优越的性能。尽管它们取得了成功，但由于过度平滑的问题，目前大多数GCN模型都很肤浅。 本文研究了深度图卷积网络的设计与分析问题。我们提出了GCNII，它是vanilla GCN模型的扩展，有两种简单而有效的技术:初始残差和单位映射。我们提供了理论和经验证据，这两种技术有效地缓解了过度平滑的问题。我们
《Simple and Deep Graph Convolutional Networks》--论文阅读笔记
LIYUO94的博客
07-22 3416
《Simple and Deep Graph Convolutional Networks》 作者：魏哲巍、Ming Chen、Zengfeng Huang、Bolin Ding、Yaliang Li 时间：2020年 ICML 篇幅：11页 Abstract 图卷积网络(GCNS)是一种强大的图结构数据深度学习方法。最近，GCNS及其后续变体在真实数据集上的各个应用领域都显示出了优异的性能。尽管取得了成功，但由于过度平滑的问题，目前的大多数GCN模型都很浅。本文研究了深图卷积网络的设计与分析问题。我们提出
GCNII《Simple and Deep Graph Convolutional Networks》阅读笔记
智慧的旋风的博客
02-27 2114
GCNII Chen M, Wei Z, Huang Z, et al. Simple and deep graph convolutional networks[C]//International Conference on Machine Learning. PMLR, 2020: 1725-1735. 本文主要是针对GNN模型的过平滑（over-smooth）问题展开研究与讨论，回顾之前的一些解决方案，并且借鉴ResNet设计了GCNII模型。 过平滑问题以及其相关工作 其实到现在为止，大部分G
图融合GCN（Graph Convolutional Networks）
吴建明wujianming_110117
09-08 1874
图融合GCN（Graph Convolutional Networks） 数据其实是图（graph），图在生活中无处不在，如社交网络，知识图谱，蛋白质结构等。本文介绍GNN（Graph Neural Networks）中的分支：GCN（Graph Convolutional Networks）。 GCN的PyTorch实现 虽然GCN从数学上较难理解，但是，实现是非常简单的，值得注意的一点是，一般情况下邻接矩阵是稀疏矩阵，所以，在实现矩阵乘法时，采用稀疏运算会更高效。首先，图卷积层的实现：
【GCN论文阅读笔记】Simple and Deep Graph Convolutional Networks
qq_42695321的博客
11-16 1173
【论文阅读笔记】Simple and Deep Graph Convolutional Networks1.本文解决的任务和基本思路2.研究动机3.创新点4.具体思路5.理论分析6.实验效果7.我们的思考 1.本文解决的任务和基本思路 要解决的任务 设计一个GCN模型（GCNII）来有效的防止过度平滑，并在真正深度的网络结构中实现最先进的结果。 基本思路 本文在GCN的基础上，通过引入初始剩余连接和恒等映射两种简单的方法来解决深层GCN面临的过度平滑的问题。 2.研究动机 图卷积网络(GCNS)
论文笔记：ICML 2020 Simple and Deep Graph Convolutional Networks
qq_44015059的博客
09-26 682
前言 图卷积网络(GCNs)是一种针对图结构数据的强大的深度学习方法。最近，GCNs和后续的变体在实际数据集中的各种应用领域显示了优越的性能。大多数目前的GCN模型是浅层结构的，由于过度平滑的问题。本文研究了深度图卷积网络的设计与分析问题，提出了GCNII，它是普通GCN模型的扩展，具有两种简单而有效的技术:初始残差和恒等映射。这两种技术有效地缓解了过度平滑的问题。实验表明，深层GCNII模型在各种半监督和全监督任务上的性能优于目前最先进的方法。 论文链接：https://arxiv.org/abs/200
【源码复现】《Simple and Deep Graph Convolutional Networks》——GCNII模型
最新发布
飞跃大海的猪
12-13 1378
本文简单的介绍了《Simple and Deep Graph Convolutional Networks》的论文思想以及了中GCNII模型的复现，并给出详细的源码包括torch和dgl复现源码.
ICML 2020 | GCNII：简单和深度图卷积网络
KI的博客
08-17 3467
ICML 2020 | GCNII：简单和深度图卷积网络
【论文笔记】(DGCN-HN) Deep Graph Convolutional Networks with Hybrid Normalization for Accurate and …
Running Snail
03-25 4388
文章目录1. Intro1.1 层数不够1.2 使用固定的归一化规则2. METHOD2.1 Deep Graph Convolutional Network for Recommendation2.2 Hybrid Normalization for Flexible Modeling of Neighbor Importance2.3 Simplified Attention Network for Adaptive Combination3. EXPERIMENTS 本文发表在KDD 2021上 在.
SGC - Simplifying Graph Convolutional Networks 简化的图卷积网络 论文详解 ICML 2019
热门推荐
知行合一，止于至善
10-15 1万+
文章目录1 相关介绍1.1 Simple Graph Convolution (SGC)提出的背景1.2 SGC效果2 Simple Graph Convolution 简化的图卷积2.1 符号定义2.2 图卷积网络GCNGCN vs MLPFeature propagation 特征传播Feature transformation and nonlinear transition分类器2.3 简...
GCN： Graph Convolutional Network
weixin_30367169的博客
08-29 397
从CNN到GCN的联系与区别： https://www.zhihu.com/question/54504471/answer/332657604 更加详解Laplacian矩阵： https://www.zhihu.com/question/54504471/answer/630639025 GCN 实践： https://mp.weixin.qq.com/s...
GCN详解
真滴不可理喻的博客
01-27 9010
GCN详解，原来GCN这么简单
GCN实战
qq_54862543的博客
11-06 1065
图神经网络实战
GCN-图卷积神经网络
2301_78731684的博客
12-09 1605
本文将对图卷积神经网络（GCN）进行详细解析，包括其背景、原理、结构及应用等方面。我们将通过直观易懂的方式，带领大家逐步走进GCN的世界，感受GCN在处理图数据时的强大能力。GCN（图卷积神经网络）是一种特征提取器，用于从图数据中提取特征。它采用局部感知区域、共享权值和空间域上的降采样，相对于位移、缩放和扭曲，具有稳定不变的特性，能够很好地提取图像的空间特征。GCN的本质是提取图的结构特征，关键在于如何定义局部接受域。GCN的应用范围广泛，包括节点分类、图分类、边预测、以及图的嵌入表示等。
graph convolutional networks
03-16
图卷积网络（Graph Convolutional Networks，GCN）是一种用于图像识别和推荐系统等领域的深度学习模型。它通过对图像中的节点和边进行卷积操作，从而提取出图像中的特征。与传统的卷积神经网络（CNN）不同，GCN 可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值