- 博客(5)
- 收藏
- 关注
RSS订阅原创 节点规范化-Effective Training Strategies for Deep Graph Neural Networks
这篇文章主要指出，在先前的研究中，表明GNN性能随深度加深而下降的主要原因是过平滑。然而，本文作者分析得出，过平滑是一个重要的原因，主要原因是由于训练的困难和过拟合。训练的困难是由于梯度消失引起的，这可以通过引入残差连接来解决，但过拟合是训练深层GCN的主要障碍，他不能通过现有的规范法技巧来解决，同时，深层GCN会遭遇训练不稳定的问题，减缓训练过程。因此，本文提出了一种节点规范化技巧NodeNorm，它是在训练过程中使用节点自身的统计特性来对每个节点做规范化处理，这个方法通过阻止隐藏嵌入的逐特征相关性来规范
2020-07-31 15:21:42
712
原创 PAIRNORM : TACKLING OVERSMOOTHING IN GNNS
已知图神经网络（GNN）的性能随着层数的增加而逐渐降低。 这种衰减部分归因于过度平滑，其中重复的图形卷积最终使节点嵌入难以区分。 我们仔细研究了两种不同的解释，旨在量化过度平滑。 我们的主要贡献是PAIRNORM，这是一种新颖的归一化层，它基于对图卷积算符的仔细分析，可防止所有节点嵌入变得过于相似。 而且，PAIRNORM快速，易于实施，无需更改网络体系结构或任何其他参数，并且广泛适用于任何GNN。现实世界图上的实验表明，PAIRNORM使更深的GCN，GAT和SGC模型在防止过度平滑方面更具鲁棒性，并
2020-07-11 17:07:47
1940
原创 Revisiting Oversmoothing in Deep GCNs 重新探究深度GCN中的过度平滑
过度平滑被认为是深度图卷积网络（GCN）中性能下降的主要原因。 在本文中，我们提出了一种新的观点，即深层GCN可以在训练过程中真正学会抗过度平滑。 这项工作将标准GCN体系结构解释为多层感知器（MLP）的分层集成和图正则化。 我们分析并得出结论，在训练之前，深层GCN的最终表示确实会过度平滑，但是，它会在训练过程中学习到反过度平滑的功能。 根据结论，本文进一步设计了一种便宜而有效的技巧来改善GCN训练。 我们验证我们的结论并评估三个引文网络上的技巧，并进一步提供有关GCN中邻域聚集的见解。
2020-07-04 12:03:25
1907
原创 时序动作定位的图卷积网络论文学习笔记
Graph Convolutional Networks for Temporal Action Localization论文学习笔记在读本文之前，首先看一下什么叫做Temporal Action Detection，即时序行为检测。任务目的：给定一段未分割的长视频，算法需要检测视频中的行为片段，包括其开始时间，结束时间以及类别。任务特点与难点：时序行为检测和目标检测可以类比起来看：acti...
2019-09-18 15:27:06
1579
原创 从拓扑视角度量和减轻图神经网络过平滑问题的论文学习笔记
Measuring and Relieving the Over-smoothing Problem for Graph Neural Networks from the Topological View 论文笔记论文链接：https://arxiv.org/pdf/1909.03211.pdfGNN：最近，图神经网络在深度学习领域大热，涌现出大批文章。2019年7月清华大学孙茂松祖在arvi...
2019-09-17 15:26:20
2417
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人