ICLR 2020|PairNorm: Tackling Oversmoothing in GNNs

最新推荐文章于 2023-10-13 15:11:49 发布
最新推荐文章于 2023-10-13 15:11:49 发布
阅读量1.2k 收藏 3
点赞数
分类专栏： 专题 文章标签： 深度学习 神经网络 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Arnetminer/article/details/105877416
版权
众所周知，GNNs的表现随着层数的增加而有所下降，这在一定程度上归结于over-smoothing这一问题，重复图卷积这一操作会使得节点的表示最终变得不可区分。作者希望通过采取两种不同的理解方式来量化over-smoothing这一问题，并提出解决这一问题的方法。

ICLR专题

原文：PairNorm: Tackling Oversmoothing in GNNs

众所周知，GNNs的表现随着层数的增加而有所下降，这在一定程度上归结于over-smoothing这一问题，重复图卷积这一操作会使得节点的表示最终变得不可区分。作者希望通过采取两种不同的理解方式来量化over-smoothing这一问题，并提出解决这一问题的方法。在仔细地研究过图卷积这一操作之后，作者提出了一种新奇的normalization layer---PairNorm，来防止节点的表示变得过于相似。除此之外，PairNorm具有高效且易于实现的特点，不需要对于整个模型架构做太多的改变，也不需要增加额外的参数，广泛地适用于所有的GNNs。

文章的贡献主要如下：

（1）

最低0.47元/天 解锁文章
眨眼睛的小星星
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
PAIRNORM : TACKLING OVERSMOOTHING IN GNNS
JYHlong的博客
07-11 1958
  已知图神经网络（GNN）的性能随着层数的增加而逐渐降低。 这种衰减部分归因于过度平滑，其中重复的图形卷积最终使节点嵌入难以区分。 我们仔细研究了两种不同的解释，旨在量化过度平滑。 我们的主要贡献是PAIRNORM，这是一种新颖的归一化层，它基于对图卷积算符的仔细分析，可防止所有节点嵌入变得过于相似。 而且，PAIRNORM快速，易于实施，无需更改网络体系结构或任何其他参数，并且广泛适用于任何GNN。现实世界图上的实验表明，PAIRNORM使更深的GCN，GAT和SGC模型在防止过度平滑方面更具鲁棒性，并
论文解读（PairNorm）《PairNorm: Tackling Oversmoothing in GNNs》
m0_56069948的博客
08-22 543
为简化 Eq.8\text{Eq.8} 的计算，令每个 ˜xi\tilde{\mathbf{x}}_{i} 减去行均值 ˜xci=˜xi−1nn∑i˜xi\tilde{\mathbf{x}}_{i}^{c}=\tilde{\mathbf{x}}_{i}-\frac{1}{n} \sum\limits _{i}^{n} \tilde{\mathbf{x}}_{i}，其中 ˜xci\tilde{\mathbf{x}}_{i}^{c} 表示中心表示。
图神经网络（GCN）中的过度平滑（over-smooth）问题以及 multi-hops解决思路
热门推荐
一个nlp探险者的博客
11-30 1万+
0. 图神经网络（GCN）中的过度平滑（over-smooth）问题 什么叫做图神经网络的过渡平滑问题？即在图神经网络的训练过程中，随着网络层数的增加和迭代次数的增加，每个节点的隐层表征会趋向于收敛到同一个值（即空间上的同一个位置）。 不是每个节点的表征都趋向于收敛到同一个值，更准确的说，是同一连通分量内的节点的表征会趋向于收敛到同一个值。这对表征图中不通簇的特征、表征图的特征都有好处。但是，有很多任务的图是连通图，只有一个连通分量，或较少的连通分量，这就导致了节点的表征会趋向于收敛到一个值或几个值的问题。
图神经网络（GNN）训练中过度平滑的问题 over-smoothing
bbbeoy的专栏
09-17 1516
​​​​​​如何解决图神经网络（GNN）训练中过度平滑的问题？ - 知乎 作者：日知 链接：https://www.zhihu.com/question/346942899/answer/835222364 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 不是所有图神经网络都有 over-smooth 的问题，例如，基于 RandomWalk + RNN、基于 Attention 的模型大多不会有这个问题，是可以放心叠深度的～只有部分图卷积神经网络会有该问题。 .
图卷积（6）——过平滑现象（1）
maple的博客
11-07 5374
图卷积（6）——过平滑现象（1） 过平滑现象的提出是在论文Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning中。作者将GCN用于半监督学习任务，发现采用多层GCN之后，会出现过平滑现象（over-smoothing）。 文章提出三个核心观点： 拉普拉斯平滑：GCN中图卷积是特殊形式的拉普拉斯平滑，可以聚合临近节点的特征，使同一类别的节点的特征相似； 过平滑问题：多层GCN使得节点输出特征过度平滑，这样
图卷积网络（GCN）中应用于推荐系统时，“oversmoothing“（过度平滑）问题
努力学习的DS
09-29 373
在图卷积网络（GCN）中应用于推荐系统时，"oversmoothing"（过度平滑）是一个重要的问题。这个问题涉及到节点在图中传播信息的过程中逐渐丧失了其初始特征信息，导致节点的嵌入变得过于相似，难以区分不同节点之间的差异。具体来说，oversmoothing 表示在多层 GCN 中，当信息在图上传播时，每一层节点的嵌入变得越来越相似，最终导致节点之间的区分度减弱。这是因为每一层的图卷积操作都会对节点的嵌入进行加权平均（GCN特有的聚合操作），而这种平均会导致信息的混合和平滑。
Learning-From-Rules:在ICLR2020（https：
05-07
从规则化标签示例中学习（ICLR 2020） 该存储库在我们的提供了实验的实现 @inproceedings{ Awasthi2020Learning, title={Learning from Rules Generalizing Labeled Exemplars}, author={Abhijeet Awasthi and ...
ICLR2021-Stats:ICLR 2021统计和图表
05-27
ICLR 2021统计和图表 用法 运行以下结果的ipython笔记本iclr2021_stats.ipynb 。 或者，在各自的csv文件中使用作者和隶属关系数据。 我还包括了一个直接脚本，用于使用简单的Selenium和漂亮的汤方法在scrape_...
workshop_of_NAS_ICLR2020.rar
05-19
ICLR 2020 线上会议已经圆满结束。此次会议关于NAS的研究主题包括对benchmark的探讨、对于流行的NAS方法的理解和分析，以及如何提高NAS方法的精度和效率等。值得一提的是，此届会议举办了ICLR历史上的第一个神经网络...
FasterSeg:[ICLR 2020]“ FasterSeg
05-04
在ICLR 2020中。 概述 我们对斯图加特城市景观演示视频的预测＃0 我们介绍FasterSeg，这是一种自动设计的语义分割网络，它不仅具有最新的性能，而且比当前方法具有更快的速度。 强调： 新颖的搜索空间：支持多...
pytorch-ensembles:深度学习中域内不确定性估计和组合的陷阱，ICLR 2020
05-03
PyTorch的官方实现： 深度学习中域内不确定性估计和集合的陷阱，ICLR'20 / / // 海报视频（5分钟） 环境设定 以下内容允许使用创建并运行具有所有必需依赖项的python环境： conda env create -f condaenv.yml ...
解决‘GNN’中‘over—smoothing’问题（通俗易懂）
小林学编程的博客
02-16 5002
轻松解决GNN中’over-smoothing‘问题，让读者不再为此问题困扰！！！！！
【知识图谱系列】GCNII模型探索DeepGNN的Over-Smoothing问题
【AI机器学习与知识图谱】的博客
03-17 543
作者：CHEONG 公众号：AI机器学习与知识图谱 研究方向：自然语言处理与知识图谱 GCNII (ICML 2020) 分享，GCNII全称：Graph Convolutional Networks via Initial residual and Identity Mapping GCNII汇报ppt版可通过关注公众号【AI机器学习与知识图谱】，回复关键词：GCNII 来获得，供学习者使用！可添加微信号【17865190919】进学习交流群，加好友时备注来自CSDN。原创不易，转载请告知并注明出处！.
Mumford_Shah模型与oversmoothing
weixin_43391014的博客
02-07 1206
数学视角理解图片
Revisiting Oversmoothing in Deep GCNs 重新探究深度GCN中的过度平滑
JYHlong的博客
07-04 1916
过度平滑被认为是深度图卷积网络（GCN）中性能下降的主要原因。 在本文中，我们提出了一种新的观点，即深层GCN可以在训练过程中真正学会抗过度平滑。 这项工作将标准GCN体系结构解释为多层感知器（MLP）的分层集成和图正则化。 我们分析并得出结论，在训练之前，深层GCN的最终表示确实会过度平滑，但是，它会在训练过程中学习到反过度平滑的功能。 根据结论，本文进一步设计了一种便宜而有效的技巧来改善GCN训练。 我们验证我们的结论并评估三个引文网络上的技巧，并进一步提供有关GCN中邻域聚集的见解。
c++ 图的连通分量是什么_图优化|如何解决图神经网络（GNN）训练中过度平滑（oversmoothing）的问题？...
weixin_39673293的博客
11-22 630
知乎提问：在图神经网络的训练过程中，随着网络层数的增加和迭代次数的增加，每个节点的隐层表征会趋向于收敛到同一个值(即空间上的同一个位置)。出现这种情况的具体原因是什么，又应该对网络结构或者损失函数做怎样的修改呢？本文回答：作者：纵横声明：本文经作者授权转载原文链接：https://www.zhihu.com/question/346942899/answer/835222364首先，更...
推荐系统领域，over-uniform和oversmoothing问题
最新发布
努力学习的DS
10-13 152
总的来说，over-uniform 强调了过度依赖热门物品的问题，而 oversmoothing 强调了过度平滑导致推荐结果不够个性化和多样性的问题。在推荐系统领域，“over-uniform” 和 “oversmoothing” 是与模型性能和推荐结果相关的两个概念，它们通常用于描述模型的行为和性能问题。Oversmoothing 可能会导致推荐结果缺乏多样性，用户得到的推荐很可能与他们以前的行为相似，而忽视了可能的新兴趋势或个性化需求。
【知识图谱系列】PairNorm、DropEdge、DAGNN、Grand和GCNII五篇2020 Over-Smoothing论文综述
【AI机器学习与知识图谱】的博客
04-16 1219
作者：CHEONG 公众号：AI机器学习与知识图谱 研究方向：自然语言处理与知识图谱 本文分享2020年相关顶会对于DeepGNN Over-Smoothing的解法，共汇报五篇顶会论文，汇报完整版ppt可通过关注公众号【AI机器学习与知识图谱】后回复关键词：Over-Smoothing 来获得，供学习者使用！ 一、Motivation 在计算机视觉中，模型CNN随着其层次加深可以学习到更深层次的特征信息，叠加64层或128层是十分正常的现象，且能较浅层取得更优的效果； 图卷积神经网络GCNs是一..
2023/8/27周报
gldzkjdxwzs的博客
08-27 281
深度学习、GNN
ICLR2020新成果：DrKIT，虚拟知识库上的可微推断加速复杂问答
"DrKIT——虚拟知识库上的可微推断技术是近年来知识图谱研究的热点，该技术在ICLR2020会议上被提出，由CMU和Google的研究人员开发。DrKIT能够将文本数据视为虚拟知识库，用于解决复杂的多跳问题，通过遍历并追踪实体...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值