Measuring and Relieving the Over-smoothing Problem for Graph Neural Networks from the Topological View 论文笔记
论文链接:https://arxiv.org/pdf/1909.03211.pdf
GNN:最近,图神经网络在深度学习领域大热,涌现出大批文章。2019年7月清华大学孙茂松祖在arvix上发布的综述文章:Graph Neural Networks:A Review of Methods and Applications提出卷积神经网络(CNN)是GNN起源的首要动机,随着对GNN和CNN的深入分析,发现其有三个共同的特点:(1)局部连接 (2)权值共享 (3)多层网络
这对GNN来说有重要的意义:
(1)局部连接时图的最基本的表现形式;
(2)权值共享可以减少网络的计算量;
(3)多层结构可以让网络捕获不同的特征;
该综述同时也提出了GNN领域的over-smoothing问题:经验上使用更多参数的神经网络能够得到更好的实验结果,然而堆叠多层的GNN却会产生over-smoothing问题,具体来说,堆叠层数越多,节点考虑的领域个数也会越多,导致最终所有节点的表示会趋于一致。
**
本文主要内容:
本文针对GNN的过平滑问题,进行了系统性和定量性的研究,其主要内容为:
1.首先,引进两种定量度量,MAD度量节点表达的平滑性,MADGap度量节点表达的过平滑性。
2.然后,验证了平滑性是GNN的自然特质,导致over-smoothing的关键因素是由于节点接收信息的低信噪比,它一部分是由图的拓扑结构决定的。
3.最后从拓扑视角提出两种方法来减轻over-smoothing问题:
(1)增加一个基于MADGap的正则化器MADReg来训练目标。
(2)AdaGraph(自适应学习图结构),基于模型预测来优化图拓扑。
- MAD:Metric for Smoothness
为了度量图表示的平滑性,本文提出定量度量(Mean Average Distance),MAD通过计算一个节点到其他节点的平均距离来反映图表示的平滑性,平滑性指的是图节点表达之间的相似性,观察到随着GNN层数的增加,GNN的MAD值变得更小,说明平滑性是GNN的自然特性。
形式上,给定图表达矩阵 H ϵ R n × h H\epsilon R^{n\times h} HϵRn×h,首先得到距离矩阵 D ϵ R n × n D\epsilon R^{n\times n} DϵRn×n,它是计算每对节点之间的cosine距离得到的。
D i j = 1 − H i , : ⋅ H j , : ∣ H i , : ∣ ⋅ ∣ H j , : ∣ D_{ij}=1-\frac{H_{i,:}\cdot H_{j,:}}{\left | H_{i,:} \right |\cdot \left |H _{j,:} \right |} Dij=1−∣Hi,:∣⋅∣Hj,:∣Hi,:⋅Hj,:
H k