PAIRNORM : TACKLING OVERSMOOTHING IN GNNS
已知图神经网络(GNN)的性能随着层数的增加而逐渐降低。 这种衰减部分归因于过度平滑,其中重复的图形卷积最终使节点嵌入难以区分。 我们仔细研究了两种不同的解释,旨在量化过度平滑。 我们的主要贡献是PAIRNORM,这是一种新颖的归一化层,它基于对图卷积算符的仔细分析,可防止所有节点嵌入变得过于相似。 而且,PAIRNORM快速,易于实施,无需更改网络体系结构或任何其他参数,并且广泛适用于任何GNN。现实世界图上的实验表明,PAIRNORM使更深的GCN,GAT和SGC模型在防止过度平滑方面更具鲁棒性,并
原创
2020-07-11 17:07:47 ·
1966 阅读 ·
0 评论