学习笔记 -- 2021 图预训练 --Learning to Pre-train Graph Neural Networks

系列文章目

---

图形神经网络(GNNs)已经成为图表示学习的实际标准，它通过递归地聚集来自图形邻域的信息来获得有效的节点表示。虽然GNNs可以从头开始训练，但是最近已经证明，对神经网络进行预训练以学习用于下游任务的可转移知识可以提高技术水平。

---

摘要

传统的GNN预训练方法遵循两步范式:

1. 对大量未标记数据进行预训练
2. 对下游标记数据进行微调

由于这两步中优化目标的差异，两者之间存在显著的差距。在本文中，我们分析了预训练和微调之间的差异，为了缓解这种差异，我们提出了一种用于GNN的自我监督预训练策略L2P-GNN。关键的见解是L2PGNN试图学习如何在预训练过程中以可转移的先验知识的形式进行微调。为了将局部和全局信息编码到先验中，L2P-GNN进一步设计成在节点和图两个层次上具有双重适应机制。

实验结果表明，L2P-GNN能够学习有效且可转移的先验知识，为下游任务提供强有力的表征。

代码与数据集

---

1 Introduction

受预先训练的语言模型的启发(Devlin等，2019；Mikolov等人(2013年)和图像编码器(Girshick等人(2014年；Donahue等人，2014年；他等人(2019年)，最近在GNN预训练方面的进展为减少标记负担和利用大量未标记数据提供了见解。 预训练GNNs的主要目标(纳瓦林、特兰和斯珀杜蒂2018；Hu等人(2019，2020)是从大部分未标记的数据中学习可转移的先验知识，这可以通过快速微调步骤推广到下游任务。
本质上，这些方法主要遵循两步范式:

1. 在大量未标记图数据的集合上预训练GNN模型，获得通用可转移知识，其编码了内在的图属性；(2)在特定任务的图形数据上微调预先训练的GNN模型，以便使通用知识适应下游任务。

然而，这里我们认为，由于两个步骤中优化目标的差异，在预训练和微调之间存在差距。特别地，预训练步骤优化GNN，以在预训练图数据上找到最佳点，而微调步骤旨在优化下游任务的性能。
换句话说，

预训练过程完全忽略了通过一些微调更新来快速适应下游任务的需要，在这两个步骤之间留下了一个间隙。这种差异将不可避免地严重损害预先训练的GNN模型的泛化能力。

主要挑战与工作

1. How to narrow the gap caused by different optimization objectives?
2. How to simultaneously preserve node- and graph-levelinformation with completely unlabeled graph data?

现有方法要么仅考虑节点级预处理(Navarin，Tran，Sperduti，2018；Hu等人，2019年)，或者仍然需要用于图级预处理的监督信息(Hu等人，2020年)。而在节点级别，预测节点对之间的链接自然是自监督的，很少探索图级别的自监督。因此，设计一个自我监督的策略来预训练图级表示是至关重要的。

主要贡献

• This is the first attempt to explore learning to pre-train GNNs, which alleviates the divergence between pretraining and fine-tuning objectives, and sheds a new perspective for pre-training GNNs.
• We propose a completely self-supervised GNN pretraining strategy for both node- and graph-level representations.

为了应对这些挑战，我们提出了L2P-GNN，这是一个GNN预训练策略，它以完全自我监督的方式在节点和图两个层次上学习预训练(L2P)。更具体地说，对于第一个挑战，L2P-GNN模仿预训练步骤中的微调步骤，从而学会如何在预训练过程中进行微调。因此，我们学习到一种先验知识，它具有快速适应新的下游任务的能力，只需少量的微调更新。所提出的预训练学习可以被认为是一种元学习（meta-learning）的形式也称为学会学习（learning to learn)。对于第二个挑战，我们提出了一个具有双重自适应机制的自监督策略，该机制同时配备了节点级和图级自适应。一方面，节点级自适应将节点对的连通性作为自监督信息，从而学习一个可转移的先验来编码局部图的性质。另一方面，图级自适应被设计用于保存图中的全局信息，其中子结构应该在表示空间中接近整个图

二、相关工作

由于图形结构数据的流行，GNN受到了极大的关注(布朗斯坦等人，2017年)。最初提出(2008)作为利用神经网络学习图的节点表示的框架，这个概念被扩展到使用谱方法的卷积神经网络和消息传递架构来聚集邻居的特征.为了能够更有效地学习图形，研究人员已经探索了如何预先训练GNN以为未标记图数据的节点级表示。Navarin等人(Navarin，Tran和Sperduti，2018)利用图核进行预训练，而另一项工作(Hu等人，2019)利用三个无监督任务对图编码器进行预训练，以捕捉图的不同方面。最近，胡等人(胡等人，2020)提出了不同的策略来在节点和图两个层次上预训练图神经网络，尽管在图的层次上需要标记数据。

元学习的定义： meta-learning intends to learn a form of general knowledge across similar learning tasks, so that the learned knowledge can be quickly adapted to new tasks。即在不同的作务中（但相似）学习一种通用于不同任务的知识

1. 基于度量的方法
   learn a metric or distance function over tasks.
2. 基于模型的方法
   learn a metric or distance function over tasks, while model-based methods aim to design an architecture or training process for rapid generalization across tasks.
3. 基于优化的方法
   some optimization-based methods directly adjust the optimization algorithm to enable
   quick adaptation。

3 Learning to Pre-train: Motivation and Overview

---