DOI:https://arxiv.org/abs/2002.07518
期刊:MACHION LEARNING(3区)
影响因子:2.445
发布时间:2021年4月19日
代码:https://github.com/yang-han/Self-Enhanced_GNN
摘要
图神经网络因其在基于图的任务中的优异性能而受到广泛关注。然而,现有的关于神经网络的研究主要集中在设计更有效的模型上,而没有过多考虑输入数据的质量。在本文中,作者提出了自增强GNN (SEG),它利用现有GNN模型的输出来提高输入数据的质量,从而在半监督节点分类上获得更好的性能。
由于图形数据由拓扑和节点标签组成,作者从两个角度提高了输入数据的质量。对于拓扑,观察到当类间边(连接不同类的节点)的比率较低时,可以获得更高的分类精度,并提出拓扑更新来移除类间边和添加类内边。对于节点标签,我们提出了训练节点扩充,它使用现有GNN模型预测的标签来扩充训练集。SEG是一个通用框架,可以很容易地与现有的GNN模型相结合。实验结果表明,SEG在不同数据集上一致地提高了GCN、GAT和SGC等著名GNN模型的性能。
一、介绍
图形数据无处不在,例如社交网络中的友谊图、推荐系统中的用户项目图以及生物学中的蛋白质-蛋白质相互作用图。对于基于图的任务,如节点分类、链接预测和图分类,图神经网络由于其利用图结构和特征信息的能力而获得优异的性能。受图谱理论的启发,GCN 进行图卷积以避免谱分解的高复杂性。遗传算法不是使用邻接矩阵来导出邻域聚合的权重,而是使用注意力模块来从数据中学习权重。SGC 消除了GCN的非线性,因为它观察到GCN表现良好主要是因为邻居聚集而不是非线性。还有许多其他的GNN模型,如GraphSAGE ,JK-Net,Geom-GCN ,GGNN和ClusterGCN 。
本文主要研究半监督节点分类,这是大多数GNN模型设计的任务。
大多数现有的工作提出了更有效的GNN模型,但输入数据的质量没有得到太多的关注。然而,数据质量和模型质量对于良好的性能同样重要。。
乍一看,数据质量是固定的,输入数据是一个问题,无法改善。然而,作者观察到现有的GNN模型已经实现了良好的分类精度,因此它们的输出可以用于更新输入数据以提高其质量。然后,可以在改进的数据上训练GNN模型以获得更好的性能。作者将这种思想称为自增强GNN(SEG),并在此框架下提出了两种算法,即拓扑更新(TU)和训练节点增强(TNA)。
由于GNN模型本质上平滑了相邻节点的嵌入,类间边缘可能对模型性能有害,因为它们使得难以区分不同类的节点。为此,拓扑更新(TU)根据GNN模型预测的节点标签移除类间边并添加类内边。
作者的分析表明,只要GNN模型的性能足够好,拓扑更新(TU)就会减少图中类间边的百分比。由于对于半监督节点分类,标记节点的数量通常很少,因此训练节点增强(TNA)通过将多个GNN模型的预测标记作为基础真值标签来扩大训练集。
作者通过分析表明,使用多个不同的GNN模型减少了扩大的训练集中的误差。还开发了一种有效的方法来在多个GNN模型之间创建多样性。拓扑更新(TU)和训练节点增强(TNA)都是通用技术,可以很容易地与现有的GNN模型相结合。
作者在三个著名的GNN模型(即GCN、遗传算法和SGC)和七个广泛使用的基准数据集上进行了广泛的实验。结果显示,SEG持续改进了这些GNN模型的性能。
具体如下:
分类误差平均降低16.2%,最高可达35.1%。详细分析发现,拓扑更新(TU)和训练节点增强(TNA)确实提高了节点分类的输入数据质量。具体来说,拓扑更新(TU)有效地删除了类间边,增加了类内边,而训练节点增强(TNA)添加的大部分节点都被赋予了右标签。基于这些结果,一个有趣的未来方向是将SEG的思想扩展到其他问题,如链接预测和图形分类,其中也使用GNN。
与现有工作的关系:
SEG可以看作是GNNs协同训练或自训练的通用框架,既包括图结构,也包括节点标签。相关工作可以看作是GNNs自训练或共训练的具体算法,也可以纳入SEG框架。SEG中的设计在以下几个方面与上述作品不同。删除/添加GNN边缘,以减轻过度平滑并支持更多图形卷积层;相反,作者试图提高数据质量,并观察到较低的噪声比会导致较高的分类精度。使用标签传播和单个训练的GNN模型来扩大GNN的训练集,采用像DeepCluster 这样