1.1 问题
我在看GCN特征传播的时候,第三代GCN(Semi-Supervised Classification with Graph Convolutional Networks)认为:随机游走归一化没有解决度较大的节点对描述其他节点贡献比较低的问题,因此使用对称归一化替代
随机游走归一化: A ~ = D ~ − 1 A \tilde A = \tilde{D}^{-1}A A~=D~−1A
对称归一化: A ~ = D ~ − 1 2 A D ~ − 1 2 \tilde A = \tilde{D}^{- \frac{1}{2}}A\tilde{D}^{- \frac{1}{2}} A~=D~−21AD~−21
但是我读Cluster-GCN论文的时候,发现Cluster-GCN使用随机游走归一化,而不是对称归一化
随机游走归一化只完成了矩阵的横向标准化,而对称归一化在此基础上还完成了纵向标准化:
横向标准化,即只考虑值之间的相对大小而不是绝对大小,从而避免了训练时产生的梯度消失或梯度爆炸导致的无法收敛;
纵向标准化,即通过邻居节点 j j j的度 D ~ j j \tilde{D}_{jj} D~jj,判断邻居节点 j j j对节点 i i i特征表达所带来的贡献大小,惩罚度大的节点
1.2 猜想
是不是对称归一化解决的是度比较大的结点贡献不足的问题,但是Cluster-GCN用图聚类方法划分节点的同时,去掉了小批次训练中节点以外的边,这样节点之间度都相对变小了,而且节点之间相关性更强,每个节点与其相连节点间描述更多,是不是就不需要纵向标准化了?
1.3 老师给的解答
随机游走归一化计算快。。
1.4 参考文章
[1][https://www.cnblogs.com/BlairGrowing/p/15826824.html]
[2][https://blog.csdn.net/zfhsfdhdfajhsr/article/details/124552753]