PREDICT THEN PROPAGATE: GRAPH NEURAL NETWORKS MEET PERSONALIZED PAGERANK

Motivation

传统GCN在节点分类中达到了不错的效果，但只能在将层数限制在2-3层，加深层数会导致两个问题：
（1）、出现过平滑现象：即最后所有节点趋向同一个值。
（2）、随着层数的加深，参数量也呈指数级增长。
但是试验表明，一般要将层数达到4-5层才能使才能覆盖所有的节点。
为了解决这个问题，引进了PageRank方法。

问题一

由于PageRand方法可能陷入“陷阱问题”和“终止问题”：
所以引进了personalized PageRank方法：
基本表示形式为：

ix表示初始根节点的特征，计算后可以得到平稳状态后的分布结果为：

所以PPNP模型就可以写成下面的等式：

其实这和GCN式子很相似：
通过这种方式就可以解决过平滑的现象，在加深层数后依然可以达到稳态分布。

问题二

为了解决参数量过大的问题，将神经网络和消息传递网络分隔开：如下图所示

其实也就是将下面的式子分成两个部分：

右边的式子是神经网络预测节点特征，其实参数也是由此产生的，和GCN中的W*H相似，可以通过MLP拟合。左边就是PPNP网络。

APPNP

当节点很多和层数加深的情况下，矩阵连乘会导致很大的计算量，所以建立了APPNP（Approximate personalized propagation of neural predictions ）网络：
**