从拓扑视角度量和减轻图神经网络过平滑问题的论文学习笔记

Measuring and Relieving the Over-smoothing Problem for Graph Neural Networks from the Topological View 论文笔记

论文链接：https://arxiv.org/pdf/1909.03211.pdf
GNN：最近，图神经网络在深度学习领域大热，涌现出大批文章。2019年7月清华大学孙茂松祖在arvix上发布的综述文章：Graph Neural Networks:A Review of Methods and Applications提出卷积神经网络（CNN）是GNN起源的首要动机，随着对GNN和CNN的深入分析，发现其有三个共同的特点：（1）局部连接 （2）权值共享 （3）多层网络
这对GNN来说有重要的意义：
（1）局部连接时图的最基本的表现形式；
（2）权值共享可以减少网络的计算量；
（3）多层结构可以让网络捕获不同的特征；
　 　 该综述同时也提出了GNN领域的over-smoothing问题：经验上使用更多参数的神经网络能够得到更好的实验结果，然而堆叠多层的GNN却会产生over-smoothing问题，具体来说，堆叠层数越多，节点考虑的领域个数也会越多，导致最终所有节点的表示会趋于一致。
**

本文主要内容：

本文针对GNN的过平滑问题，进行了系统性和定量性的研究，其主要内容为：
1.首先，引进两种定量度量，MAD度量节点表达的平滑性，MADGap度量节点表达的过平滑性。
2.然后，验证了平滑性是GNN的自然特质，导致over-smoothing的关键因素是由于节点接收信息的低信噪比，它一部分是由图的拓扑结构决定的。
3.最后从拓扑视角提出两种方法来减轻over-smoothing问题：
（1）增加一个基于MADGap的正则化器MADReg来训练目标。
（2）AdaGraph(自适应学习图结构)，基于模型预测来优化图拓扑。

---

• MAD:Metric for Smoothness
  　 　 为了度量图表示的平滑性，本文提出定量度量（Mean Average Distance),MAD通过计算一个节点到其他节点的平均距离来反映图表示的平滑性，平滑性指的是图节点表达之间的相似性，观察到随着GNN层数的增加，GNN的MAD值变得更小，说明平滑性是GNN的自然特性。
  　 　 形式上，给定图表达矩阵$HϵR^{n\times h}$，首先得到距离矩阵$DϵR^{n\times n}$，它是计算每对节点之间的cosine距离得到的。
  $$D_{ij}=1-\frac{H_{i,:}\cdot H_{j,:}}{\left|H_{i,:}\right|\cdot \left|H_{j,:}\right|}$$
  　 　 H k