半监督分类算法_APPNP：一个更强大的用于半监督分类的图卷积网络模型

Paper：PREDICT THEN PROPAGATE: GRAPH NEURAL NETWORKS MEET PERSONALIZED PAGERANK

关键词：PageRank ，PPNP ，APPNP，图卷积神经网络

---

1. Motivation

最近在图上进行半监督分类的神经信息传递算法取得了巨大的成功。但是，为了对节点进行分类，这些方法仅考虑距离传播步骤不远的节点，并且所利用的邻域的大小难以扩展。

2. Work summary

使用图卷积网络（GCN）与PageRank之间的关系来推导基于个性化PageRank的改进传播方案。我们利用这种传播程序来构建一个简单的模型，我们利用这种传播过程来构建一个简单的模型，个性化的神经预测传播（PPNP）。

3. Effect

与相关工作相比，该模型训练时间更快，并且参数数量与以前的模型相同或更低。

它利用可调整的大型邻域进行分类，并且可以轻松地与任何神经网络结合。

在迄今为止针对类GCN模型进行的最彻底的研究中，该模型优于最近提出的半监督分类方法。

---

4. Model

这一节中，看似有点乱，所以给一下小目录：

• 4.1 介绍了图卷积网络的一些符号表示，和经典图卷积的不足之处。
• 4.2 A：简单的介绍了一下pagerank
• 4.2 B：PPNP模型
• 4.2 C：在B的基础上提出的一个更厉害的APPNP模型

4.1 图卷积神经网络和他们的有限范围

我们首先来介绍本文所需要的符号表示和模型所要解决的问题。【以下根据原文进行了简写】

表示包含节点集合V和边集合E的图。

表示节点的数量，

表示边的数量。

表示节点特征矩阵，其中，f 表示每一个节点的特征数量。

表示类/标签矩阵，c表示类别的数量。

表示图的伴随矩阵，用来描述图的结构。

表示添加了自环的伴随矩阵。

图卷积网络（GCN）是一种用于半监督分类的简单且广泛使用的消息传递算法。对于两个消息传递层，其等式为：

其中，

是被预测的节点标签。

是添加自环的对称归一化邻接矩阵。其中，

表示对角度矩阵。

是可训练的权重矩阵。

【然后我发现，好像也并没有简写什么东西，嘻嘻嘻】

对于两个GCN层，仅考虑两跳邻居中的邻居。 基本上有两个原因导致无法像GCN这样的消息传递算法轻松地扩展为使用更大的邻域。 首先，如果使用了太多的层，则通过求平均的聚合会导致过度平滑。 因此，它失去了局部邻居的关注。 第二，最常见的聚合方案在每一层中使用可学习的权重矩阵。 因此，使用较大的邻域必然会增加神经网络的可学习参数的深度和数量。 但是，所需的邻域大小和神经网络深度是两个完全正交的方面。 这种固定的关系是一个强大的限制，并导致严重的妥协。

针对第一个问题，已经有工作显示，对于第k层GCN，节点x对y的影响得分，

与期望从根节点x开始有稍微修改的k步随机游动分布是成比例的。换句话说，节点x的信息可以以随机游动的方式扩展到节点y。如果我们令

并且该图是不可约且非周期性的，该随机游走概率分布可以收敛到极限（或平稳）分布。该分布可以通过求解方程

来获得。 显然，结果仅取决于整个图，并且与随机游走的起始（根）节点x无关。 因此，此全局属性不适合描述根节点的邻域。

4.2 PERSONALIZED PROPAGATION OF NEURAL PREDICTIONS

A：从消息传递到个性化PageRank

我们可以通过识别极限分布和PageRank之间的联系来解决失去关注的问题。两者之间的唯一区别是在

中添加了自环和邻接矩阵归一化。

原始的PageRank由

来计算。建立了这种连接之后，我们现在可以考虑使用PageRank的变体，该变体考虑了根节点——个性化PageRank。

我们经由传送向量

(它是一个one-hot的指示向量)定义根节点

。我们对个性化PageRank的调整可以使用递归方程为节点 x 获得：

通过求解这个等式，我们可以获得：

指示向量可以使我们即使在极限分布中也可以保留节点的本地邻域。

B：Personalized propagation of neural predictions (PPNP).

为了将上述影响力分数用于半监督分类，我们根据每个节点的自身特征生成预测，然后通过完全个性化的PageRank方案传播它们，以生成最终预测。 这是神经预测个性化传播的基础。

PPNP模型可以描述成如下等式：

其中，X是特征矩阵，

是一个带有参数西塔的生成预测结果H的神经网络。

PPNP从传播方案中分离出了用于生成预测的神经网络。 这种分离还解决了上面提到的第二个问题：神经网络的深度现在完全独立于传播算法。 正如我们在将GCN连接到PageRank时所看到的那样，个性化PageRank甚至可以有效地使用无限多个邻域聚合层，这在传统消息传递框架中显然是不可能的。 此外，分离使我们可以灵活地使用任何方法来生成预测，例如 用于图像图形的深层卷积神经网络。

在生成预测并在预测过程中连续进行预测传播时，该模型是端到端训练的。 也就是说，梯度在反向传播过程中流经传播方案（隐式考虑了无限多个邻域聚合层）。 添加这些传播效果会大大提高模型的准确性。

C：Approximate personalized propagation of neural predictions (APPNP)

更准确地说，APPNP通过通过幂迭代逼近主题感知的PageRank来实现线性计算复杂性。 虽然PageRank的功效迭代与常规的随机游走相关，但与主题相关的PageRank的功效迭代与重新启动的随机游走有关。 因此，主题感知的PageRank变体的每次幂迭代（随机遍历/传播）步骤都可以通过下式计算：

其中，预测矩阵H既是起始向量又是传送集，K定义迭代步数，并且

。 请注意，此方法保留了图的稀疏性，并且从不构造

矩阵。

请注意，与GCN这样的模型不同，该模型的传播方案不需要训练任何其他参数，而GCN这样的模型通常每个附加传播层都需要更多参数。 因此，我们可以使用很少的参数传播很远。

CONCLUSION

我们通过考虑GCN和PageRank之间的关系并将其扩展到个性化PageRank来推导此模型。 这个简单的模型将预测和传播解耦，并解决了许多消息传递模型固有的有限范围问题，而无需引入任何其他参数。 它使用来自较大的可调整的（通过传送概率α）邻域的信息对每个节点进行分类。 该模型具有高效的计算能力，并且优于迄今为止针对类似GCN的模型所做的最彻底研究中针对多张图进行半监督分类的几种最新方法。