文献阅读（40）ICLR2021-Combining Label Propagation and Simple Models Out-performs Graph Neural Networks

本文是对《Combining Label Propagation and Simple Models Out-performs Graph Neural Networks》一文的浅显翻译与理解，如有侵权即刻删除。

朋友们，我们在github创建了一个图学习笔记库，总结了相关文章的论文、代码和我个人的中文笔记，能够帮助大家更加便捷地找到对应论文，欢迎star~

Chinese-Reading-Notes-of-Graph-Learning

更多相关文章，请移步：文献阅读总结：网络表示学习/图学习

Title

《Combining Label Propagation and Simple Models Out-performs Graph Neural Networks》

——ICLR2021

Author: 黄倩

总结

有更为详细的他人笔记可参考：https://blog.csdn.net/qq_44015059/article/details/113689870

文章认为当前的GNN算法往往过于复杂，难以识别到底起作用的是哪些板块。因而提出了较为简单的结构，将忽略图结构的浅层模型与利用标签结构中相关性的两个简单后处理步骤相结合，称为C&S，并通过实验证明了其有效性，并推导出真正有效的是对节点标签的学习。这两个步骤分别为：（1）误差相关性，用于分散训练数据中的残留误差以更正测试数据中的误差；（2）预测相关性，使得测试数据中的预测更为平滑。如图所示：

1 定义

模型的输入为基本图结构，并附有节点特征，但值得注意的是，文章强调，在模型进行预测的过程中，并没有使用图结构，也就是前文提到的忽略图结构的浅层模型，仅用节点特征进行训练。在此，文章将数据集先划分为无标签的节点集U和有标签的节点集L，U作为测试集使用，而对L，再分为训练集的L_t和验证集的L_v。

在整个训练过程中，网络只在这些后处理步骤和和一个预处理步骤中使用，以增强特征，但不用于基础预测。

2 基础预测

文章给出了简单的标签预测损失函数：

f作为预测函数，要尽可能与真实标签结果相接近，因此优化目标就是最小化这一差值。而对于f的选择，可以是简单的线性模型，也可以是MLP模型。通过f的预测，就能够得到基础预测矩阵Z。

3 误差平滑

得到基础预测矩阵后，文章预计基础预测中的误差将随边缘正相关，即节点i上的误差会导致其邻域产生相似误差的机会增大，从而试图将这种误差传播到整个图上，这种灵感来自于残差传播。

因而，文章设定了误差矩阵E，其中误差在训练数据中为其残差，在其他数据中为零。

在训练数据中，只有当做出完美预测时，残差才为0。文章参考Learning with local and global consistency一文的方法，将这种误差进行传播：

最终，将基础预测结果与之相加，则有：

然而，对于直推式分类问题，平滑误差E可能不在正确的尺度上，有：

换言之，这种传播不能够完全纠正网络中的所有节点误差，因为没有足够的“总质量”。文章提出了两种缩放残差的方法，用来修正这一问题。

第一种，自动缩放。即将E^中的误差大小缩放到和E中的近似，文章利用训练节点的平均误差来近似这个尺度。

第二种，按比例固定扩散。这种方法会固定已知的误差，使我们知道错误（在标记的节点L上），而其他节点则不断求出其邻居的值的平均值，直到收敛为止。

4 预测平滑

通过误差平滑后的预测矩阵，要进一步做关于预测的平滑，这一动机是在网络中相邻节点往往具有相似的标签。在此，对整个网络而言，不同节点集上最优的预测结果如下：

对于已知真实标签的训练集，最优的预测结果就是完全挪用真实标签，而验证集则通过上述工作完成标签预测。而后，文章执行迭代过程进行平滑：

与误差平滑相同，预测平滑也是一个后处理步骤，与其他步骤是分离的。