阅读笔记-STRATEGIES FOR PRE-TRAINING GRAPH NEURAL NETWORKS

策略

1. 节点级预训练方法；
2. 图级预训练方法

节点级预训练方法

1. CONTEXT PREDICTION
   （1）用子图来预测其周围的图结构；对于节点v的K-hop neighborhood的定义：以节点v为中心，距离v距离不超过K的节点。而上下文图的定义：设定两个超参数r1,r2,上下文图就是节点v r1 r2之间的子图，如上图所示。有一些节点同时存在于邻域图和上下文图，这些节点称为锚节点。
   （2）首先将上下文图映射编码为固定长度的向量，作者用context GNN即辅助GNN，来获得上下文图中的节点嵌入，之后，对上下文锚节点（context anchor nodes）的嵌入进行平均化，得到一个固定长度的上下文嵌入。
   （3）作者利用负采样来联合学习main GNN和context GNN。main GNN对邻域进行编码，context GNN对上下文图进行编码来获得对应的embeddings。并且，Context Prediction的目标是一个对于特定的邻域和上下文图是否属于同一个节点的二分类。所使用的负采样率为1（每1个正样本中就有1个负样本），并使用负对数似然作为损失函数。经过预训练后，保留main GNN作为预训练模型。

2. ATTRIBUTEMASKING
   （1）Masking node and edges attributes：先对节点或边的属性进行掩码，然后让GNN基于相邻结构预测这些属性。对于分子图，使用特殊的标记来mask掉这些属性，然后使用GNN得到相应的节点和边的embeddings，最后用线性模型来预测被mask掉的节点和边的属性。

图级别的预训练

两种图级别的预训练方式：1）对整张图的特定领域的属性进行预测；2）对图的结构进行预测。
（1）有监督的图级别的属性预测：使用图级别的多任务的有监督预训练，联合预测一个图的多个标签。为了共同预测许多图的属性，其中每个属性对应于一个二分类任务，在图表示的基础上应用线性分类器。
（2）结构相似度预测：建模两个图间结构的相似性。类似的任务有：建模图的编辑距离、预测图结构的相似性。作者认为这个方法超出了本文的范围，将其作为未来的工作。

概览

先进行节点级的自监督预训练，然后进行图级的多任务监督预训练。预训练完成后，对于downstream任务进行微调。即作者在图级表示之上添加线性分类器来预测下游的图标签。之后对整个模型，即预训练的GNN和下游线性分类器进行端到端的微调。