节点规范化-Effective Training Strategies for Deep Graph Neural Networks
这篇文章主要指出,在先前的研究中,表明GNN性能随深度加深而下降的主要原因是过平滑。然而,本文作者分析得出,过平滑是一个重要的原因,主要原因是由于训练的困难和过拟合。训练的困难是由于梯度消失引起的,这可以通过引入残差连接来解决,但过拟合是训练深层GCN的主要障碍,他不能通过现有的规范法技巧来解决,同时,深层GCN会遭遇训练不稳定的问题,减缓训练过程。因此,本文提出了一种节点规范化技巧NodeNorm,它是在训练过程中使用节点自身的统计特性来对每个节点做规范化处理,这个方法通过阻止隐藏嵌入的逐特征相关性来规范
原创
2020-07-31 15:21:42 ·
724 阅读 ·
0 评论