PAIRNORM : TACKLING OVERSMOOTHING IN GNNS

         一种规范化的方法来处理过平滑问题

  已知图神经网络（GNN）的性能随着层数的增加而逐渐降低。 这种衰减部分归因于过度平滑，其中重复的图形卷积最终使节点嵌入难以区分。 我们仔细研究了两种不同的解释，旨在量化过度平滑。 我们的主要贡献是PAIRNORM，这是一种新颖的归一化层，它基于对图卷积算符的仔细分析，可防止所有节点嵌入变得过于相似。 而且，PAIRNORM快速，易于实施，无需更改网络体系结构或任何其他参数，并且广泛适用于任何GNN。现实世界图上的实验表明，PAIRNORM使更深的GCN，GAT和SGC模型在防止过度平滑方面更具鲁棒性，并极大地提高了受益于更深的GNN的新问题的性能。
  本文处理深层GNN的过平滑问题，具体地，我们（据我们所知）提出了GNN的第一个规范化层，该层在训练期间应用在中间层之间。规范化有防止相隔较远的节点的输出特征变得相似或难以区分的效果，同时使得属于同一类相连的节点变得更相似，主要贡献为：
（1）规范化来处理GNN的过平滑： 我们提出的方案基于以下认识：大多数GNN都执行一种特殊形式的Laplacian平滑，这使得节点特征彼此之间更加相似。 PairNorm的关键思想是确保总的成对特征距离在各层之间保持恒定，使得相隔较远的节点对具有较少的相似特征，从而防止特征在整个群集中混合。
（2）速度和通用性： PairNorm能被直接的运用，并且不会引入额外的参数，它被简单地运用在每一层（除了最后一层）的输出特征上，由简单的操作组成，主要是中心化和缩放，它们和输入的大小成线性关系。PairNorm并不是针对某个特定的GNN作用的，而是能被广泛应用，本文主要将PairNorm用来处理GCN,GAT和SGGC模型的过平滑问题。
（3）更深层GNN的用例： 对于一些分类任务，运用浅层GNN就已经足够了，因此PairNorm虽然可以阻止性能随着层数增加显著下降，但是不一定能绝对提高性能。但是在现实世界中，有的分类任务，比如有一部分节点特征缺失，此时可能需要更广泛的邻域，也就是需要更深的层数，节点的特征才能被有效的恢复出来，这种情景下，深层GNN对分类任务更有效，这时运用PairNorm能显著超越其他模型，PairNorm的优势也就体现出来了。

理解过平滑

  很多文章都表明，GCN里面的过平滑是一种特殊形式的Laplacian平滑。标准形式是$\left(I-\lambda I\right)X+\gamma \widetilde{A_{rw}}X$，图卷积就是$\gamma =1$， 使用对称规范化的Laplacian矩阵$\widetilde{A_{sym}}$，得到$\tilde{X}=\widetilde{A_{sym}}X$，即一个节点新的特征$\tilde{x}$是它本身和邻居特征的权值的平均。这种平滑效果使得属于同一类节点 变得更加相似，进而有助于提高集群假设下的SSNC（半监督节点分类）性能。然而，当层数增加时， 属于不同类节点的特征也会混合进去，遭遇过平滑问题，我们把这类节点特征变得太相似的问题叫做逐节点平滑问题。
另一种思考过平滑的方式是：重复运用拉普拉斯平滑法多次会使节点特征趋于一个稳定点，从而遗弃了特征的所有信息。具体为：$X_{\cdot j}\in R^n$，代表特征矩阵$X$的第$j$列，则${\lim }_{k\to \infty }\widetilde{A_{sym}^k}{X}_{\cdot j}={\pi }_j$，并且$\frac{{\pi }_j}{{\Vert {\pi }_j\Vert }_1}=\pi$。归一化的解$\pi \in R^n$，满足${\pi }_i=\frac{\sqrt{de{g}_i}}{{\Sigma }_i\sqrt{de{g}_i}}$。注意到$\pi$ 独立于输入特征$X_{\cdot j}$