论文解读：《自增强GNN:利用模型输出改进图神经网络》

DOI：https://arxiv.org/abs/2002.07518
期刊：MACHION LEARNING（3区）
影响因子：2.445
发布时间：2021年4月19日
代码：https://github.com/yang-han/Self-Enhanced_GNN

---

摘要

图神经网络因其在基于图的任务中的优异性能而受到广泛关注。然而，现有的关于神经网络的研究主要集中在设计更有效的模型上，而没有过多考虑输入数据的质量。在本文中，作者提出了自增强GNN (SEG)，它利用现有GNN模型的输出来提高输入数据的质量，从而在半监督节点分类上获得更好的性能。
由于图形数据由拓扑和节点标签组成，作者从两个角度提高了输入数据的质量。对于拓扑，观察到当类间边(连接不同类的节点)的比率较低时，可以获得更高的分类精度，并提出拓扑更新来移除类间边和添加类内边。对于节点标签，我们提出了训练节点扩充，它使用现有GNN模型预测的标签来扩充训练集。SEG是一个通用框架，可以很容易地与现有的GNN模型相结合。实验结果表明，SEG在不同数据集上一致地提高了GCN、GAT和SGC等著名GNN模型的性能。

---

一、介绍

图形数据无处不在，例如社交网络中的友谊图、推荐系统中的用户项目图以及生物学中的蛋白质-蛋白质相互作用图。对于基于图的任务，如节点分类、链接预测和图分类，图神经网络由于其利用图结构和特征信息的能力而获得优异的性能。受图谱理论的启发，GCN 进行图卷积以避免谱分解的高复杂性。遗传算法不是使用邻接矩阵来导出邻域聚合的权重，而是使用注意力模块来从数据中学习权重。SGC 消除了GCN的非线性，因为它观察到GCN表现良好主要是因为邻居聚集而不是非线性。还有许多其他的GNN模型，如GraphSAGE ，JK-Net，Geom-GCN ，GGNN和ClusterGCN 。
本文主要研究半监督节点分类，这是大多数GNN模型设计的任务。
大多数现有的工作提出了更有效的GNN模型，但输入数据的质量没有得到太多的关注。然而，数据质量和模型质量对于良好的性能同样重要。。
乍一看，数据质量是固定的，输入数据是一个问题，无法改善。然而，作者观察到现有的GNN模型已经实现了良好的分类精度，因此它们的输出可以用于更新输入数据以提高其质量。然后，可以在改进的数据上训练GNN模型以获得更好的性能。作者将这种思想称为自增强GNN（SEG），并在此框架下提出了两种算法，即拓扑更新（TU）和训练节点增强（TNA）。
由于GNN模型本质上平滑了相邻节点的嵌入，类间边缘可能对模型性能有害，因为它们使得难以区分不同类的节点。为此，拓扑更新（TU）根据GNN模型预测的节点标签移除类间边并添加类内边。
作者的分析表明，只要GNN模型的性能足够好，拓扑更新（TU）就会减少图中类间边的百分比。由于对于半监督节点分类，标记节点的数量通常很少，因此训练节点增强（TNA）通过将多个GNN模型的预测标记作为基础真值标签来扩大训练集。
作者通过分析表明，使用多个不同的GNN模型减少了扩大的训练集中的误差。还开发了一种有效的方法来在多个GNN模型之间创建多样性。拓扑更新（TU）和训练节点增强（TNA）都是通用技术，可以很容易地与现有的GNN模型相结合。
作者在三个著名的GNN模型(即GCN、遗传算法和SGC)和七个广泛使用的基准数据集上进行了广泛的实验。结果显示，SEG持续改进了这些GNN模型的性能。
具体如下：
分类误差平均降低16.2%，最高可达35.1%。详细分析发现，拓扑更新（TU）和训练节点增强（TNA）确实提高了节点分类的输入数据质量。具体来说，拓扑更新（TU）有效地删除了类间边，增加了类内边，而训练节点增强（TNA）添加的大部分节点都被赋予了右标签。基于这些结果，一个有趣的未来方向是将SEG的思想扩展到其他问题，如链接预测和图形分类，其中也使用GNN。
与现有工作的关系：
SEG可以看作是GNNs协同训练或自训练的通用框架，既包括图结构，也包括节点标签。相关工作可以看作是GNNs自训练或共训练的具体算法，也可以纳入SEG框架。SEG中的设计在以下几个方面与上述作品不同。删除/添加GNN边缘，以减轻过度平滑并支持更多图形卷积层；相反，作者试图提高数据质量，并观察到较低的噪声比会导致较高的分类精度。使用标签传播和单个训练的GNN模型来扩大GNN的训练集，采用像DeepCluster 这样