【论文阅读】Self-Supervised Learning of Graph Neural Networks: A Unified Review

论文题目：Self-Supervised Learning of Graph Neural Networks: A Unified Review
论文地址：https://arxiv.org/abs/2102.10757

1 Introduction

可以将SSL的前置任务分为两类：对比模型和预测模型。

两类的主要区别在于对比模型需要data-data对进行训练，而预测模型需要data-label对，其中label时从数据中自行生成的，如图1

对比模型通常利用自监督来学习数据表示或为下游任务执行预训练。

预测模型是以监督方式训练的，其中标签是基于输入数据的某些属性或通过选择数据的某些部分来生成的

由于图结构数据的独特性，在GNN上应用SSL有几个关键挑战：

• 自监督模型应该从节点属性和图的结构拓扑中捕获基本信息
• 对于对比模型，关键挑战在于如何获得图的良好视图以及不同模型和数据集的图编码器的选择
• 对于预测模型来说，至关重要的是，应该生成什么样的标签，以便学习非琐碎的表示来捕捉节点属性和图结构的信息。

不同类别的自监督学习方法概述如图2

2 Problem Formulation

2.1 Notation

让$\mathcal{P}$表示输入空间$\mathcal{G}$上无标签图的分布。给定一个训练数据集，可以简单地将分布P构造为数据集中样本的均匀分布。自监督可以通过利用来自$\mathcal{P}$的信息并最小化由专门设计的自监督学习任务确定的自监督损失${\mathcal{L}}_{ssl}(f,\mathcal{P})$来促进图编码器 $f$ 的学习

2.2 Paradigms for Self-Supervised Learning

应用自监督的典型训练范式包括无监督表示学习、无监督预训练和辅助学习

unsupervised representation learning

在无监督表示学习中，整个训练过程只有无标签图的分布$\mathcal{P}$可用。给定图数据$(A,X)\sim \mathcal{P}$，则问题表述为：

$$f^{\ast }=arg\underset{f}{\min }{\mathcal{L}}_{ssl}(f,\mathcal{P})$$

此处$f$可以理解为预测出来的数据分布，$f^{\ast }$为图编码器，需要得到一个是预测出来的分布与真实分布差距最小的图编码器

$$H^{\ast }=f^{\ast }(A,X)$$

可以将学习到的表示$H^{\ast }$用在下游任务中

unsupervised pretraining

• 用无标签的图训练图编码器$f$
• 将预训练的编码器$f_{init}$用作有监督微调阶段中编码器的初始化

$$f^{\ast },h^{\ast }=arg\underset{(f,h)}{\min }{\mathcal{L}}_{sup}(f,h,\mathcal{P})$$

with initialization

$$f_{init}=arg\underset{f}{\min }{\mathcal{L}}_{ssl}(f,\mathcal{P})$$

auxiliary learning

我们让$\mathcal{Q}$表示图数据和标签的联合分布，$\mathcal{P}$表示图数据的边缘

我们想要学习解码器$f$和预测$h$，其中$h$是监督下训练$\mathcal{Q}$，$f$在监督和自监督下对$\mathcal{P}$的训练

$$f^{\ast },h^{\ast }=arg\underset{(f,h)}{\min }{\mathcal{L}}_{sup}(f,h,\mathcal{Q})+\lambda {\mathcal{L}}_{ssl}(f,\mathcal{P})$$

3 Contrastive Learning

图对比学习的一个主要区别是：

• 鉴别器的目标是给一个视图表示
• 获取视图的方法
• 计算视图表示的图编码器

3.1 Overview of Contrastive Learning Framework

对比学习方法的框架

对于图的编码器，大多数方法采用图级编码器，节点级编码器通常用于节点-图的对比。

给定一个图$(A,X)$，应用多个变换${\mathcal{T}}_1,\cdots ,{\mathcal{T}}_k$得到不同的视图$w_1,\cdots ,w_k$。一组编码网络$f_1,\cdots$