ICLR 2020|PairNorm: Tackling Oversmoothing in GNNs

最新推荐文章于 2024-09-06 19:13:04 发布
最新推荐文章于 2024-09-06 19:13:04 发布
阅读量1.3k 收藏 3
点赞数
分类专栏： 专题 文章标签： 深度学习 神经网络 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Arnetminer/article/details/105877416
版权
本文介绍ICLR 2020论文PairNorm，针对图神经网络(GNNs)的过平滑问题提出了一种新颖的规范化层。PairNorm通过控制节点特征向量间的距离，防止节点表示趋同，有效缓解了过平滑现象。该方法高效、易于实现，适用于各种GNNs，同时分析了深层GNNs适用的场景和限制。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

众所周知，GNNs的表现随着层数的增加而有所下降，这在一定程度上归结于over-smoothing这一问题，重复图卷积这一操作会使得节点的表示最终变得不可区分。作者希望通过采取两种不同的理解方式来量化over-smoothing这一问题，并提出解决这一问题的方法。

ICLR专题

原文：PairNorm: Tackling Oversmoothing in GNNs

众所周知，GNNs的表现随着层数的增加而有所下降，这在一定程度上归结于over-smoothing这一问题，重复图卷积这一操作会使得节点的表示最终变得不可区分。作者希望通过采取两种不同的理解方式来量化over-smoothing这一问题，并提出解决这一问题的方法。在仔细地研究过图卷积这一操作之后，作者提出了一种新奇的normalization layer---PairNorm，来防止节点的表示变得过于相似。除此之外，PairNorm具有高效且易于实现的特点，不需要对于整个模型架构做太多的改变，也不需要增加额外的参数，广泛地适用于所有的GNNs。

文章的贡献主要如下：

（1）

最低0.47元/天 解锁文章
PAIRNORM : TACKLING OVERSMOOTHING IN GNNS
JYHlong的博客
07-11 2099
  已知图神经网络（GNN）的性能随着层数的增加而逐渐降低。 这种衰减部分归因于过度平滑，其中重复的图形卷积最终使节点嵌入难以区分。 我们仔细研究了两种不同的解释，旨在量化过度平滑。 我们的主要贡献是PAIRNORM，这是一种新颖的归一化层，它基于对图卷积算符的仔细分析，可防止所有节点嵌入变得过于相似。 而且，PAIRNORM快速，易于实施，无需更改网络体系结构或任何其他参数，并且广泛适用于任何GNN。现实世界图上的实验表明，PAIRNORM使更深的GCN，GAT和SGC模型在防止过度平滑方面更具鲁棒性，并
论文解读（PairNorm）《PairNorm: Tackling Oversmoothing in GNNs》
m0_56069948的博客
08-22 659
为简化 Eq.8\text{Eq.8} 的计算，令每个 ˜xi\tilde{\mathbf{x}}_{i} 减去行均值 ˜xci=˜xi−1nn∑i˜xi\tilde{\mathbf{x}}_{i}^{c}=\tilde{\mathbf{x}}_{i}-\frac{1}{n} \sum\limits _{i}^{n} \tilde{\mathbf{x}}_{i}，其中 ˜xci\tilde{\mathbf{x}}_{i}^{c} 表示中心表示。
GNN中的Over-smoothing与Over-squashing问题
最新发布
wrj1472583690的博客
09-06 641
GNN会根据邻居节点的特征更新每个节点的特征，假如A与B、C相连（有亲密关系，兴趣可能受对方影响）,经过一层传播后，用户A的特征可能变为：兴趣：运动和音乐的混合。所有用户的特征趋向于一致，失去了原有的差异性。可能因为网络过深，那么在多层传播后，信息可能会被过度压缩（本质是特征减少了，当层数过多时会大大杂糅信息，导致特征减少，输出维度过小也会），导致细节丢失。Over-smoothing 是指随着GNN网络层数的增加，节点的特征表示逐渐趋向于一致，导致不同节点的特征差异变得越来越小的现象.
图神经网络（GNN）训练中过度平滑的问题 over-smoothing
bbbeoy的专栏
09-17 1809
​​​​​​如何解决图神经网络（GNN）训练中过度平滑的问题？ - 知乎 作者：日知 链接：https://www.zhihu.com/question/346942899/answer/835222364 来源：知乎 著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。 不是所有图神经网络都有 over-smooth 的问题，例如，基于 RandomWalk + RNN、基于 Attention 的模型大多不会有这个问题，是可以放心叠深度的～只有部分图卷积神经网络会有该问题。 .
图卷积（6）——过平滑现象（1）
maple的博客
11-07 5914
图卷积（6）——过平滑现象（1） 过平滑现象的提出是在论文Deeper Insights into Graph Convolutional Networks for Semi-Supervised Learning中。作者将GCN用于半监督学习任务，发现采用多层GCN之后，会出现过平滑现象（over-smoothing）。 文章提出三个核心观点： 拉普拉斯平滑：GCN中图卷积是特殊形式的拉普拉斯平滑，可以聚合临近节点的特征，使同一类别的节点的特征相似； 过平滑问题：多层GCN使得节点输出特征过度平滑，这样
ICLR 2020|知识图谱推理框架：基于向量空间的推理和数值逻辑推理
Arnetminer的博客
05-03 1484
2篇ICLR 2020 推理主题论文解读 ICLR专题 知识图谱作为人类知识的载体，蕴含着丰富的语义知识，因此支撑着许多上游的应用，例如问答，推荐等。基于知识图谱的推理作为知识图谱问答的基础，也是有着不同的解决框架，本文解读了两篇不同框架的论文：一篇是基于知识图谱的向量嵌入技术，完全基于向量操作进行推理演算；另一篇是基于Neural Logic Programming框架，并进一步解决了数值推...
ICLR 2020 | 神经网络架构搜索（NAS）论文推荐
Arnetminer的博客
05-15 1073
ICLR 2020 线上会议已经圆满结束。此次会议关于NAS的研究主题包括对benchmark的探讨、对于流行的NAS方法的理解和分析，以及如何提高NAS方法的精度和效率等。值得一提的是，此届会议举办了ICLR历史上的第一个神经网络架构搜索（NAS）的Workshop（https://sites.google.com/view/nas2020/home），充分体现出NAS正成为越来越热门的神经网络研究方向。 此文列出以下十篇ICLR 2020 上关于NAS的经典文章供大家学习参考！ 1.NAS-B..
ICLR 2020 | reformer高效处理长序列，单机能跑，计算资源贫困人士的福音
Arnetminer的博客
05-09 753
基于Transformer的各种巨型模型在各种自然语言处理任务中常常能够取得最优结果，但这些模型的训练成本往往过高，在针对长序列文本上尤甚。为此，本文提出两种技术以改善基于Transformer的这类模型，名为Reformer。第一，使用局部敏感hash，替换原始的点乘方式的attention，从而将其空间复杂度从O(L^2)降低到O(Llog L)，其中L表示文本序列的长度。第二，使用逆残差层代替标准的残差，这使得训练过程中只需存储一次激活值，而无需N次，其中N表示网络层数。最终的结果表明Reforme.
图卷积网络（GCN）中应用于推荐系统时，“oversmoothing“（过度平滑）问题
努力学习的DS
09-29 607
在图卷积网络（GCN）中应用于推荐系统时，"oversmoothing"（过度平滑）是一个重要的问题。这个问题涉及到节点在图中传播信息的过程中逐渐丧失了其初始特征信息，导致节点的嵌入变得过于相似，难以区分不同节点之间的差异。具体来说，oversmoothing 表示在多层 GCN 中，当信息在图上传播时，每一层节点的嵌入变得越来越相似，最终导致节点之间的区分度减弱。这是因为每一层的图卷积操作都会对节点的嵌入进行加权平均（GCN特有的聚合操作），而这种平均会导致信息的混合和平滑。
解决‘GNN’中‘over—smoothing’问题（通俗易懂）
小林学编程的博客
02-16 6086
轻松解决GNN中’over-smoothing‘问题，让读者不再为此问题困扰！！！！！
【知识图谱系列】GCNII模型探索DeepGNN的Over-Smoothing问题
【AI机器学习与知识图谱】的博客
03-17 650
作者：CHEONG 公众号：AI机器学习与知识图谱 研究方向：自然语言处理与知识图谱 GCNII (ICML 2020) 分享，GCNII全称：Graph Convolutional Networks via Initial residual and Identity Mapping GCNII汇报ppt版可通过关注公众号【AI机器学习与知识图谱】，回复关键词：GCNII 来获得，供学习者使用！可添加微信号【17865190919】进学习交流群，加好友时备注来自CSDN。原创不易，转载请告知并注明出处！.
Mumford_Shah模型与oversmoothing
weixin_43391014的博客
02-07 1378
数学视角理解图片
图神经网络（GCN）中的过度平滑（over-smooth）问题以及 multi-hops解决思路
热门推荐
一个nlp探险者的博客
11-30 2万+
0. 图神经网络（GCN）中的过度平滑（over-smooth）问题 什么叫做图神经网络的过渡平滑问题？即在图神经网络的训练过程中，随着网络层数的增加和迭代次数的增加，每个节点的隐层表征会趋向于收敛到同一个值（即空间上的同一个位置）。 不是每个节点的表征都趋向于收敛到同一个值，更准确的说，是同一连通分量内的节点的表征会趋向于收敛到同一个值。这对表征图中不通簇的特征、表征图的特征都有好处。但是，有很多任务的图是连通图，只有一个连通分量，或较少的连通分量，这就导致了节点的表征会趋向于收敛到一个值或几个值的问题。
Revisiting Oversmoothing in Deep GCNs 重新探究深度GCN中的过度平滑
JYHlong的博客
07-04 2069
过度平滑被认为是深度图卷积网络（GCN）中性能下降的主要原因。 在本文中，我们提出了一种新的观点，即深层GCN可以在训练过程中真正学会抗过度平滑。 这项工作将标准GCN体系结构解释为多层感知器（MLP）的分层集成和图正则化。 我们分析并得出结论，在训练之前，深层GCN的最终表示确实会过度平滑，但是，它会在训练过程中学习到反过度平滑的功能。 根据结论，本文进一步设计了一种便宜而有效的技巧来改善GCN训练。 我们验证我们的结论并评估三个引文网络上的技巧，并进一步提供有关GCN中邻域聚集的见解。
c++ 图的连通分量是什么_图优化|如何解决图神经网络（GNN）训练中过度平滑（oversmoothing）的问题？...
weixin_39673293的博客
11-22 704
知乎提问：在图神经网络的训练过程中，随着网络层数的增加和迭代次数的增加，每个节点的隐层表征会趋向于收敛到同一个值(即空间上的同一个位置)。出现这种情况的具体原因是什么，又应该对网络结构或者损失函数做怎样的修改呢？本文回答：作者：纵横声明：本文经作者授权转载原文链接：https://www.zhihu.com/question/346942899/answer/835222364首先，更...
推荐系统领域，over-uniform和oversmoothing问题
努力学习的DS
10-13 257
总的来说，over-uniform 强调了过度依赖热门物品的问题，而 oversmoothing 强调了过度平滑导致推荐结果不够个性化和多样性的问题。在推荐系统领域，“over-uniform” 和 “oversmoothing” 是与模型性能和推荐结果相关的两个概念，它们通常用于描述模型的行为和性能问题。Oversmoothing 可能会导致推荐结果缺乏多样性，用户得到的推荐很可能与他们以前的行为相似，而忽视了可能的新兴趋势或个性化需求。
【知识图谱系列】PairNorm、DropEdge、DAGNN、Grand和GCNII五篇2020 Over-Smoothing论文综述
【AI机器学习与知识图谱】的博客
04-16 1453
作者：CHEONG 公众号：AI机器学习与知识图谱 研究方向：自然语言处理与知识图谱 本文分享2020年相关顶会对于DeepGNN Over-Smoothing的解法，共汇报五篇顶会论文，汇报完整版ppt可通过关注公众号【AI机器学习与知识图谱】后回复关键词：Over-Smoothing 来获得，供学习者使用！ 一、Motivation 在计算机视觉中，模型CNN随着其层次加深可以学习到更深层次的特征信息，叠加64层或128层是十分正常的现象，且能较浅层取得更优的效果； 图卷积神经网络GCNs是一..
2023/8/27周报
gldzkjdxwzs的博客
08-27 400
深度学习、GNN
ArnetMiner: Extraction and Mining of Academic Social Networks
weixin_41697507的博客
07-23 3206
ArnetMiner: Extraction and Mining of Academic Social Networks ABSTRACT This paper addresses several key issues in the ArnetMiner system, which aims at extracting and mining academic social networks. Specifically, the system focuses on: 1) Extracting resear
微软亚洲研究院精选ICLR 2020论文解读：BERT与视觉-语言任务新进展
ICLR 2020（International Conference on Learning Representations，国际学习表示大会）是机器学习和计算神经科学领域的重要会议，其2020年会议的精选论文代表了该领域最新的研究成果和发展趋势。微软亚洲研究院在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值