GNN2021(十八) On Self-Distilling Graph Neural Network，IJCAI2021

Abstract

本文关注于GNN的自蒸馏框架。对于蒸馏学习，主要是将较为复杂的teacher模型中蕴含的知识迁移到不那么复杂的student模型中，这种蒸馏pipeline通常需要两个步骤:第一，对一个相对重的模型进行预训练，第二，将教师模型的正向预测转换到学生模型。知识蒸馏在NLP（尤其是预训练模型）中已经有了较为广泛的应用。然而，由于图神经网络的特殊性，teacher模型如果是一个较深的GNN，就会遭受过平滑，并且对于不同的数据集，如何寻找最优的teacher模型的结构也是具备挑战的。
因此，本文提出了一个自蒸馏的GNN学习框架，主要是利用GNN模型内部的一些额外知识对模型的训练过程做有效的监督，个人认为，这种自蒸馏的方法也可以理解为模型增强或是多任务学习，只不过本文是从知识蒸馏的角度去写。具体来说，本文自蒸馏能够利用的额外信息有三种：intermediate logits, neighborhood discrepancy rate, and compact graph embedding，并且本文提到了使用neighborhood discrepancy rate能够抑制过平滑。因此本文的核心就是分别介绍如何利用这三种信息。