KDD2022论文 GPPT: Graph Pre-training and Prompt Tuning to Generalize Graph Neural Networks 【概读】

尽管图神经网络(gnn)的表示学习很有前途，但gnn的监督训练众所周知需要来自每个应用程序的大量标记数据。一种有效的解决方案是在图中应用迁移学习:使用易于获取的信息对gnn进行预训练，并对其进行微调，使其仅使用少量标签即可优化下游任务。近年来，人们在设计自监督的借口任务，并在各种应用程序中对通用图知识进行编码方面做了很多努力。然而，他们很少注意到借口和下游任务之间固有的培训目标差距。这个显著的差距通常需要昂贵的微调，以使预训练的模型适应下游问题，这阻碍了预训练知识的有效提取，然后导致糟糕的结果。更糟糕的是，朴素预训练策略通常会恶化下游任务，损害图数据迁移学习的可靠性。为了缩小任务差距，我们提出了一种新的迁移学习范式来推广gnn，即图预训练和提示调谐(GPPT)。具体来说，我们首先采用最简单和最流行的借口任务——屏蔽边缘预测来预训练gnn。在预训练模型的基础上，我们提出了图形提示函数，将独立节点修改为令牌对，并重新制定与边缘预测相同的下游节点分类。令牌对由候选标签类和节点实体组成。因此，无需繁琐的微调，就可以使用预训练的gnn来评估令牌对的链接概率，并产生节点分类决策。在8个基准数据集上的大量实验证明了GPPT的优越性，在少镜头图分析中平均提高了4.29%，模型收敛速度加快了4.32X。