深度图卷积网络系列文章（一）---Effective Training Strategies for Deep Graph Neural Networks

深度图神经网络的有效训练策略

这几天一直在看如何增加图卷积网络深度方面的问题，今天分享的一篇文章是Effective Training Strategies for Deep Graph Neural Networks。
文章地址：https://arxiv.org/abs/2006.07107
代码地址：https://github.com/miafei/NodeNorm
这篇文章的主要贡献是提出了一种归一化的方法，相比于BatchNorm在具有高方差特征的节点上表现很差的现象，这篇文章提出了一种节点归一化的方案：通过其自身的均值和标准差对每个节点的嵌入进行标准化，起到了减少特征相关性和增加模型平滑性的目的。

GNN的局限性

图神经网络（GNN）的性能往往会随着模型深度的增加而下降，这通常归因于先前的工作中过度平滑的问题。但是，我们发现尽管平滑度过高是一个因素，但造成这种现象的主要原因是训练难度和拟合度过高，我们通过实验研究代表性的GNN架构图卷积网络（GCN）进行研究。我们发现训练难度是由梯度消失引起的，可以通过添加残差连接来解决。更重要的是，过拟合是深层GCN的主要障碍，无法通过现有的正则化技术有效解决。
深度GCN也会遇到训练不稳定的问题，这会减慢训练过程。为了解决过度拟合和训练不稳定性的问题，我们提出了节点归一化（NodeNorm），该模型在训练过程中使用自己的统计信息对每个节点进行归一化。NodeNorm通过阻止隐藏嵌入的特征方面的相关性并相对于输入节点特征增加模型的平滑度来规范化深层GCN，从而有效地减少了过拟合。此外，它可以稳定训练过程，从而加快训练速度。
由于在堆叠的GC层中进行传播（propagation）导致节点嵌入变得难以区分，但是如下图1所示，发现传播操作的准确性比转换（transformation）操作的准确性还要高，所以认为过度平滑是一个原因，但不是主要原因。相反，转换操作的堆叠更容易导致性能下降。

传播操作和转换操作对模型深度的影响：

梯度消失造成训练困难

然后，我们进行进一步的实验，以研究GC层中的转换操作如何影响模型的深度。从图1 (b)可以看出，deep GCNs的训练精度很低，说明训练GCNs有一定难度。我们在GCNs的训练过程中检查了梯度，发现梯度消失造成了严重的训练困难。我们用平均梯度的最小对数绝对值(MLAMG)来说明梯度消失问题，计算如下，第t个历元第一层的梯度矩阵记为$G^t$ 。

较小的MLAMG意味着较小的梯度会传播到模型的最底层。 我们在图2（a）中绘制了具有不同深度的GCN的MLAMG。 我们可以看到，深层GCN受梯度消失的影响，因此无法拟合训练数据（图1（b））。 一些工作指出过度平滑是梯度消失的原因。 但是，如图2（a）所示，通过插入传播操作构建的变体不会遇到此问题。 相反在通过插入转换操作构建的变体中观察到梯度消失。 因此，我们认为GCN中的梯度消失是由GCN层中的转换操作而不是过度平滑引起的。

为了解决梯度消失的问题，我们在GCN模型的每个隐藏层中都添加残差连接，得到GCN-res模型，其中

从图2可以看出，GCN-res解决了梯度消失问题，并且与训练数据吻合良好。然而，我们仍然观察到随着深度的增加，GCN-res的性能在下降(图2 (b))。

过拟合和训练的不稳定性

如图3（a）所示，随着GCN-res模型的深入，训练和验证集之间的损失差距和准确性差距迅速增大。这意味着越来越严重的过拟合，而现有的正则化技术（Dropout）则无法解决（图3（b））。此外，如图3（c）所示，深层GCN-res模型的训练曲线在训练后期迅速振荡，显示出严重的训练不稳定性。结果，我们需要仔细调整一个小的学习率来训练模型，这会减慢训练过程。此外，由于训练的不稳定性，深层GCN-res模型的训练过程对正则化敏感。
如图3（b）所示，dropout为0.5可以改善具有浅和中深度的GCN-re