Strategies for Pre-training Graph Neural Networks | PreGNN | GNN预训练策略 | Meta-MGNN初始参数获取

今天给大家介绍ICLR会议上的一篇文章，“STRATEGIES FOR PRE-TRAINING GRAPH NEURAL NETWORKS”。文章提出了一种图神经网络的预训练策略PreGNN，同时在图级和节点级进行预训练，在提高模型泛化能力的同时避免了负迁移的产生。这篇文章被Meta-MGNN引用了，用来获取初始化参数。

代码链接：https://github.com/snap-stanford/pretrain-gnns/

1. Introduction

在机器学习领域，对于特定任务标签少的问题，解决办法通常是在数据丰富的相关任务上对模型进行预训练，然后在特定任务上进行微调。这种预训练方法在NLP和CV领域非常有效，但如何在图形数据上使用预训练策略没有被解决。

仅仅在在节点水平或整个图的水平上预训练GNN改善有限，甚至可能导致负迁移，因此作者提出了一种预训练GNN的方法，核心思想是同时在节点水平和整个图的水平上预训练GNN，使GNN能够同时学习到有用的局部和全局表示。

当仅使用节点级预训练时，不同形状的节点（语义上不同的节点）可以很好地分离，但是节点嵌入是不可组合的，因此通过池化节点级嵌入得到的图嵌入不是线性可分的，如图1（a.i）所示；当仅使用图级预训练时，图嵌入可以很好地分离，但是单个节点的嵌入不一定能够捕获其特定领域的语义，如图1（a.ii）所示；当同时使用节点级预训练和图级预训练时，不同类型的节点可以很好地分离，同时，嵌入空间也是可组合的，这允许对整个图进行精确的表示，并允许将预训练的模型转移到各种下游任务中。如图1（a.iii）所示。

2. 模型介绍