GCC：使用图对比编码的图神经网络预训练模型 KDD2020

论文链接：https://arxiv.org/abs/2006.09963
论文来源：KDD 2020

摘要

图表示学习已经成为解决现实问题的一种强大的技术。节点分类、相似度搜索、图分类和链接预测等各种下游图学习任务都受益于它的最新发展。然而，现有的图表示学习技术侧重于特定领域的问题，并为每个图训练专用的模型，这些模型通常不能转移到域外数据。受最近自然语言处理和计算机视觉的预训练进展的启发，我们设计了图对比编码(GCC)——一个无监督图表示学习框架——来捕获跨多个网络的通用网络拓扑属性。我们将GCC的预训练任务设计为网络中或跨网络的子图级实例识别，并利用对比学习来授权模型学习内在的和可转移的结构表示。我们对三个图学习任务和十个图数据集进行了广泛的实验。结果表明，在不同的数据集集合上进行预训练的GCC可以取得具有竞争力的或更好的性能。这表明，预训练和微调范式为图形表示学习提供了巨大的潜力。

1、引言

图表示学习是一个当前关注度较高的领域，并且有许多真实的应用。然而当前的很多图表示学习方法都是对一个领域或者某一个图训练一个模型，也就是说这些训练的模型是不能迁移到领域外新的数据。这篇文章受到在NLP领域预训练工作的启发，设计了一种无监督的图对比编码（Graph Contrastive Coding，GCC）模型，来捕获不同图之间的全局拓扑特征。这里将GCC的预训练任务设计为区分不同图内不同点的局部子图结构，并且利用对比学习（Contrastive Learning）来学习到一些固有的、可迁移的结构表示。

如上图所示，这里提出的GCC的整体思想是，在预训练阶段，给一些不同的图，然后在上面做一些自监督学习，预训练得到一个表示学习的模型，然后把这个模型用在一些更多没有见过的的图上对不同的任务进行微调，下面将对具体的方法及模型的设计进行介绍。

2、GCC模型

这里预训练的任务是instance discrimination，也就是将每个节点看作是一个自己的类，然后区分不同节点作为学习目标。从对比学习的视角来看待，给定一个被编码的query $q$，以及一个包含$K$个keys的字典，对比学习是要在dictionary里面找一个和query最匹配的key认为是和query同类的实例，在这篇文章中使用的InfoNCE作为学习目标： L = − log ⁡ e x p ( q ⊤ k + / τ ) ∑ i = 0 K e x p ( q ⊤ k i