GCNII《Simple and Deep Graph Convolutional Networks》阅读笔记

最新推荐文章于 2023-12-13 21:04:26 发布
最新推荐文章于 2023-12-13 21:04:26 发布
阅读量2.2k 收藏 11
点赞数 3
分类专栏： 论文和书籍阅读（GNN） 文章标签： 深度学习 图神经网络 GCNII GNN ResNet
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41650348/article/details/114160430
版权
GCNII是为了解决GNN模型的过平滑问题而提出的，通过引入初始剩余连接和恒等映射，增强了深层图卷积网络的性能。文章介绍了过平滑现象的原因和相关解决方案，如skip-connection、JKNet和DropEdge，然后详细阐述了GCNII模型的结构和原理，以及在实验中取得的成果。GCNII的未来发展方向可能包括与注意力机制的结合。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

GCNII

Chen M, Wei Z, Huang Z, et al. Simple and deep graph convolutional networks[C]//International Conference on Machine Learning. PMLR, 2020: 1725-1735.

本文主要是针对GNN模型的过平滑（over-smooth）问题展开研究与讨论，回顾之前的一些解决方案，并且借鉴ResNet设计了GCNII模型。

过平滑问题以及其相关工作

其实到现在为止，大部分GNN模型都是浅层的，可以称得上深层模型的屈指可数——GCNII和DeeperGCN。之所以不能太深，是因为过平滑问题会导致性能下降。

所谓过平滑，就是指当我们堆叠多个图卷积层时，模型的性能不升反降的现象。至于为什么会这样，一种比较合理的解释是：这些模型都可以看作是一些滤波器，而这些滤波器所模拟的lazy随机游走会最终收敛到一个稳定的向量，因而导致了无法区分出不同的节点。并且，高度节点由于从邻居获得更多的信息，所以更容易出现过平滑问题。

而模型过浅，我们就无法从高阶邻居中提取信息了。

当然，从GNN刚兴起的时候大家就发现这个问题了，很多人都对此提出了各式各样的解决方案，其中一些思路对于我们自己设计model是很有帮助的。

第一类大方向是沿着ResNet中的剩余连接以及图的正则化等方法进行扩展和思考。

  1. skip-connection。一般是把当前层的结果和上一层的结果进行连接/拼接，这样，既可以保留之前的运算结果，又可以加速模型在训练过程中的收敛速度。
  2. JKNet。保存每一层的运算结果，最后统一对所有层的结果进行一个连接，可以减轻过平滑问题。
  3. DropEdge。训练时随机丢弃途中的一些边，是一种图数据增强的方法。

第二类大方向是浅层模型中的深度传播方法。

  1. SGC。
  2. APPNP。
  3. GDC。

第一类方法确实是模型深度有了小幅提升，但是无法更深，还是存在过平滑的问题；第二类方法根本就没有加深模型深度，只是每一层深度传播去聚合更多的信息，也失去了深层模型的非线性结构。

虽然如此，层数一多，仍然会有过平滑问题。

GCNII模型

GCNII（Graph Convolutional Network via Initial residual and Identity mapping），就是带有初始剩余连接和恒等映射的GCN。
PyG官方文档：GCN2Conv。
X ′ = ( ( 1 − α ) P ^ X + α X ( 0 ) ) ( ( 1 − β ) I + β Θ ) \mathbf{X}^{\prime} = \left( (1 - \alpha) \mathbf{\hat{P}}\mathbf{X} + \alpha \mathbf{X^{(0)}}\right) \left( (1 - \beta) \mathbf{I} + \beta \mathbf{\Theta} \right) X

最低0.47元/天 解锁文章
【论文阅读笔记】Simple and Deep Graph Convolutional Networks
梁瑛平的博客
08-08 2854
【论文阅读笔记】Simple and Deep Graph Convolutional Networks1. 论文地址：2. 摘要：3. 简介：3.1 图卷积神经网络：3.2 传统GCN的局限性：3.3 一些解决方案：3.4 本文的方案：4. 相关研究：4.1 符号表示：4.2 GCN：5. GCNII 模型：5.1 模型简介：5.2 初始残差连接：5.3 恒等映射：5.4 迭代收缩阈值：6. 实验结果： 1. 论文地址： 论文：https://arxiv.org/pdf/2007.02133.pdf 源码
图神经网络（十六）Simple and Deep Graph Convolutional Networks
码匀的博客
03-20 785
本文收录于ICML2020，作者不知道哪个机构的。由于GCN本身的平滑性质，当前的GCN模型都局限于浅层模型，本文研究了深度卷积网络的设计与分析问题，在此基础上提出了GCNll模型，GCNll是对普通GCN的扩展，使用的是残差连接和单位映射。作者在理论上证明了本文模型有效的缓解了过平滑问题，最终实验表明该模型有着一定的提升。源码在这 Introduction 该部分说的主要还是GCN无法解决过平滑的问题，虽然当前提出了一些方法为了解决过平滑问题，例如SGC试图通过在单个神经网络层中应用图卷积矩阵的 kkk
《Simple and Deep Graph Convolutional Networks》--论文阅读笔记
LIYUO94的博客
07-22 3574
《Simple and Deep Graph Convolutional Networks》 作者：魏哲巍、Ming Chen、Zengfeng Huang、Bolin Ding、Yaliang Li 时间：2020年 ICML 篇幅：11页 Abstract 图卷积网络(GCNS)是一种强大的图结构数据深度学习方法。最近，GCNS及其后续变体在真实数据集上的各个应用领域都显示出了优异的性能。尽管取得了成功，但由于过度平滑的问题，目前的大多数GCN模型都很浅。本文研究了深图卷积网络的设计与分析问题。我们提出
【论文笔记】Simple and Deep Graph Convolutional Networks
weixin_44884854的博客
10-19 1724
本文提出了一种新的GCN方法——GCNII，一种结合了初始残差（Initial residual）和同一映射(Identity mapping)的香草GCN(the vanilla GCN)扩展模型，并证明了这两种技术有效的解决了过平滑（over-smoothing）的问题。 1. 介绍 GCNs相当于把CNNs应用于图结构的数据任务中。为了学习图表示，图卷积给所有的节点应用相同的线性变换，随后跟着一个非线性函数。进几年，GCNs和它的变体成功在很多地方都有成功应用。 虽然GCNs取得了很大的成功，但
【GCN】论文笔记：Simple and Deep Graph Convolutional Networks
m0_50611867的博客
01-17 659
文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 图卷积网络(GCNs)是一种强大的用于图结构数据的深度学习方法。最近，GCNs及其后续的变种在现实世界数据集的各个应用领域显示了优越的性能。尽管它们取得了成功，但由于过度平滑的问题，目前大多数GCN模型都很肤浅。 本文研究了深度图卷积网络的设计与分析问题。我们提出了GCNII，它是vanilla GCN模型的扩展，有两种简单而有效的技术:初始残差和单位映射。我们提供了理论和经验证据，这两种技术有效地缓解了过度平滑的问题。我们
论文笔记：ICML 2020 Simple and Deep Graph Convolutional Networks
qq_44015059的博客
09-26 769
前言 图卷积网络(GCNs)是一种针对图结构数据的强大的深度学习方法。最近，GCNs和后续的变体在实际数据集中的各种应用领域显示了优越的性能。大多数目前的GCN模型是浅层结构的，由于过度平滑的问题。本文研究了深度图卷积网络的设计与分析问题，提出了GCNII，它是普通GCN模型的扩展，具有两种简单而有效的技术:初始残差和恒等映射。这两种技术有效地缓解了过度平滑的问题。实验表明，深层GCNII模型在各种半监督和全监督任务上的性能优于目前最先进的方法。 论文链接：https://arxiv.org/abs/200
2018_WWW_Dual Graph Convolutional Networks for Graph-Based Semi-Supervised Classification
weixin_46645827的博客
01-10 1504
2018_WWW_Dual Graph Convolutional Networks for Graph-Based Semi-Supervised Classification—(The World Wide Web Conference, 2018.04.23)-- Chenyi Zhuang, Qiang Ma 论文下载地址： https://doi.org/10.1145/3178876.3186116 发表期刊：IW3C2 (International World Wide Web Confere
COMBINING LABEL PROPAGATION AND SIMPLE MODELS OUT-PERFORMS GRAPH NEURAL NETWORKS（Correct&Smooth）阅读笔记
jkokj23153的博客
10-08 569
COMBINING LABEL PROPAGATION AND SIMPLE MODEL-S OUT-PERFORMS GRAPH NEURAL NETWORKS（Correct&Smooth）论文阅读笔记
【源码复现】《Simple and Deep Graph Convolutional Networks》——GCNII模型
飞跃大海的猪
12-13 1597
本文简单的介绍了《Simple and Deep Graph Convolutional Networks》的论文思想以及了中GCNII模型的复现，并给出详细的源码包括torch和dgl复现源码.
GCN 学习 Simple and Deep Graph Convolutional Networks
weixin_43537073的博客
01-17 1763
文章目录一、Introduction二、ResNet的引入什么是Resnet本文方案GCNII 模型初始残差连接恒等映射迭代收缩阈值参考 一、Introduction 本次阅读文章为升级版GCN，使用两种技术即初始残差和恒等映射来缓解过度平滑即梯度爆炸或缺失的问题。这种深度GCNII模型在半监督和完全监督任务上的性能优于最新方法。 虽然GCN在后续的升级中取得了比较优越的性能，但是由于过度平滑的问题，大多数目前的GCN模型都是浅层的。最近的模型，例如GCN和GAT，在两层模型取得了非常好的性能，但这样的浅
GCNII:“简单和深图卷积网络”的PyTorch实现
04-14
简单和深图卷积网络 该存储库包含“简单和深度图卷积网络”的PyTorch实现。（ ） 依存关系 CUDA 10.1 python 3.6.9 pytorch 1.3.1 网络x 2.1 scikit学习 数据集 data文件夹包含来自三个基准数据集（Cora，Citeseer，Pubmed），而newdata文件夹包含四个数据集（Chameleon，Cornell，德克萨斯州，威斯康星州）。 我们使用与相同的半监督设置，并使用与Geom-GCN相同的全监督设置。 可以从下载PPI。 结果 测试精度总结如下。 数据集 深度 公制 数据集 深度 公制 科拉 64 85.5 湛 8 62.48 引用 32 73.4 玉米 16 76.49 客栈 16 80.3 德州 32 77.84 科拉（满） 64 88.49 威士 16 81.57 引用（完整
HIgh-order-GCNII:高阶GCN，具有初始残差和基于3D人类姿势估计的身份映射
03-18
高阶GCNII 高阶GCN，具有初始残差和基于3D人类姿势估计的身份映射。在本节中，我们将原始GCN层重写为GCNII层，并将其应用于10层模型而没有剩余连接。 关于Human3.6M的结果 协议1（平均每关节位置误差）和协议2（刚性对准后平均每关节位置误差）下的地面真相检测rtesluts。 方法 2D检测 时代数 参数数量 MPJPE（P1） P-MPJPE（P2） Martinez等。 [1] 地面真相 200 429万 44.40毫米 35.25毫米 SemGCN 地面真相 50 27万 42.14毫米 33.53毫米 SemGCN（带非本地） 地面真相 30 43万 40.78毫米 31.46毫米 HGCN 地面真相 50 120万 39.52毫米 31.07毫米 HGCNII（我们的） 地面真相 50 120万 39.16毫米 30.83毫米 在协议1（平均每关节
【GCN论文阅读笔记】Simple and Deep Graph Convolutional Networks
qq_42695321的博客
11-16 1316
【论文阅读笔记】Simple and Deep Graph Convolutional Networks1.本文解决的任务和基本思路2.研究动机3.创新点4.具体思路5.理论分析6.实验效果7.我们的思考 1.本文解决的任务和基本思路 要解决的任务 设计一个GCN模型（GCNII）来有效的防止过度平滑，并在真正深度的网络结构中实现最先进的结果。 基本思路 本文在GCN的基础上，通过引入初始剩余连接和恒等映射两种简单的方法来解决深层GCN面临的过度平滑的问题。 2.研究动机 图卷积网络(GCNS)
[论文笔记]Simple and Deep Graph Convolutional Networks (GCNII) 原理
qianxie1的博客
10-17 753
GCNII Note 参考： Paper: Simple and Deep Graph Convolutional Networks (arxiv.org) 【论文阅读笔记】Simple and Deep Graph Convolutional Networks - 程序员大本营 (pianshen.com) Paper Motivation 目前大多数的GCN模型都是浅层的，如GCN，GAT模型都是在2层时取得最优效果，随着加深模型效果就会大幅度下降，经研究GCN随着模型层次加深会出现Over-S
ICML 2020 | GCNII：简单和深度图卷积网络
KI的博客
08-17 4442
ICML 2020 | GCNII：简单和深度图卷积网络
【知识图谱系列】GCNII模型探索DeepGNN的Over-Smoothing问题
【AI机器学习与知识图谱】的博客
03-17 642
作者：CHEONG 公众号：AI机器学习与知识图谱 研究方向：自然语言处理与知识图谱 GCNII (ICML 2020) 分享，GCNII全称：Graph Convolutional Networks via Initial residual and Identity Mapping GCNII汇报ppt版可通过关注公众号【AI机器学习与知识图谱】，回复关键词：GCNII 来获得，供学习者使用！可添加微信号【17865190919】进学习交流群，加好友时备注来自CSDN。原创不易，转载请告知并注明出处！.
ICML2020 | GCNII：使用初始残差和恒等映射解决过度平滑
DrugAI
08-24 4516
今天给大家介绍中国人民大学魏哲巍教授课题组发表在ICML2020上的一项工作。针对目前大多数图卷积网络（GCN）模型因过度平滑而具有的浅层体系结构限制其模型性能的问题，作者提出了vGCN模型的扩展-GCNII。它具有两种简单而有效的技术：初始残差和恒等映射，相关证据证明，这两种技术可以有效地缓解了过度平滑的问题。实验表明，在各种半监督和有监督任务上，深层GCNII模型的性能均优于最新方法。 1 介绍 图卷积网络（GCN）将卷积神经网络（CNN）概括为图结构化数据。为了学习图形表示，“图形卷积”操.
ICLR 19 ：APPNP + ICML 20 GCNII
qq_40926715的博客
09-17 1085
APPNP over-smoothing . Deep GNN GCNII
Simple and Deep Graph Convolutional Networks讲解
最新发布
03-30
### Simple and Deep Graph Convolutional Networks (SD-GCN) #### 背景介绍 图卷积网络（Graph Convolutional Networks, GCNs）作为一种强大的深度学习工具，在处理图结构数据方面表现优异。然而，传统的GCN模型由于过度平滑的问题，通常局限于较浅的网络架构[^5]。为了克服这一局限性并充分利用深度网络的强大表示能力，研究人员提出了多种改进方案。 其中一种重要的扩展是 **Simple and Deep Graph Convolutional Networks (SD-GCN)** 的设计思路，它引入了初始残差（Initial Residual）和恒等映射（Identity Mapping），从而有效解决了过平滑问题，并实现了更深层次的网络结构[^1]。 --- #### 工作原理 ##### 初始残差（Initial Residual） 初始残差的核心思想是在每层的输入中加入原始节点特征 \( X \) 。这种机制可以看作是对传统残差连接的一种增强形式： \[ H^{(l)} = f(H^{(l-1)}, A) + \alpha_l X, \] 其中： - \( H^{(l)} \) 表示第 \( l \)-th 层的隐藏状态； - \( f(\cdot,\cdot) \) 是基于邻接矩阵 \( A \) 的传播函数； - \( \alpha_l \) 是可学习参数，控制原始特征的影响程度。 通过这种方式，即使在网络层数增加时，原始特征仍然能够被保留下来，从而减轻了因多层传播而导致的信息损失或同质化现象。 ##### 恒等映射（Identity Mapping） 除了利用初始残差外，SD-GCN 还采用了跳跃连接的形式——即直接将前几层的结果传递给后续层作为附加输入之一。具体而言， \[ H^{(l)} = f(H^{(l-1)}, A) + \beta_l H^{(k)}, \] 这里 \( k<l \)，\( \beta_l \) 同样是一个待优化系数向量。这种方法不仅有助于梯度流动更加顺畅，而且进一步增强了整个体系捕捉复杂模式的能力。 上述两项关键技术共同作用下，使得所构建出来的深层GCN具备更强表达力的同时也保持良好泛化性能。 --- #### 实现细节 以下是基于PyTorch框架的一个简化版 SD-GCN 示例代码片段: ```python import torch import torch.nn as nn import torch.nn.functional as F class GCNIILayer(nn.Module): def __init__(self, input_dim, output_dim, alpha=0.1, beta=0.1): super(GCNIILayer, self).__init__() self.linear = nn.Linear(input_dim, output_dim) self.alpha = alpha self.beta = beta def forward(self, x, adj_matrix, initial_x=None, prev_h=None): h = F.relu(torch.spmm(adj_matrix, self.linear(x))) if initial_x is not None: h += self.alpha * initial_x if prev_h is not None: h += self.beta * prev_h return h class SDCNNModel(nn.Module): def __init__(self, num_layers, input_dim, hidden_dim, output_dim, dropout_rate=0.5): super(SDCNNModel, self).__init__() layers = [] for i in range(num_layers): dim_in = input_dim if i == 0 else hidden_dim dim_out = output_dim if i == num_layers - 1 else hidden_dim layer = GCNIILayer(dim_in, dim_out) layers.append(layer) self.layers = nn.Sequential(*layers) self.dropout = nn.Dropout(dropout_rate) def forward(self, features, adjacency_matrix): init_features = features.clone() out = features residuals = [] for idx, gcn_layer in enumerate(self.layers): res_input = residuals[idx//2] if idx >=2 else None out = gcn_layer(out, adjacency_matrix, init_features, res_input) out = self.dropout(out) residuals.append(out) return out ``` 此段程序定义了一个基本版本的SDCNN模块，包含了多个`GCNIILayer`实例以及必要的dropout操作以提高鲁棒性和防止过拟合等问题发生。 --- #### 应用场景与优势对比 相比其他类型的GNN模型如u-net风格架构【^2】或者单纯依赖于线性变换的传统方法【^3】，采用SD-GCN策略具有如下几个显著优点： 1. 更加灵活可控：允许用户自定义不同层次间相互关系权重比例。 2. 显著提升效果：实验证明其能够在多项分类预测任务上取得超越现有SOTA水平的表现【^4】。 3. 广泛适用范围：无论是半监督还是完全标注的数据集均能展现出色适应能力和稳定性【^5】。 ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值