图对比学习

图自监督学习

三种范式

• 对比学习：对比不同数据增强方法生成的视图。关于数据数据对（数据间）之间的差异和相同性的信息被用作自监督信号。

• 生成性学习：它关注数据中嵌入的（数据内）信息，通常基于prtext任务，如重建，这些任务利用数据本身的属性和结构作为自我监督信号。

• 预测性学习：它通常通过一些简单的统计分析或专家知识从图形数据中自行生成标签，并基于自行生成的标签设计基于预测的借口任务，以处理数据标签关系。
  
  图自监督学习三种范式：对比、生成、预测

培训策略

考虑到瓶颈编码器、自我监督借口任务和下游任务之间的关系，训练策略可以分为三类：

• 预训练和微调（P&F）
• 联合学习（JL）
• 无监督表示学习（URL）

其详细工作流程如下所示。

• 预训练和微调（P&F）：它首先通过自我监督的借口任务（pretext tasks），用未标记的节点对编码器进行预训练。然后，预训练编码器的参数被用作下游任务的监督微调中使用的编码器的初始化。

• 联合学习（JL）：包括具有自我监督的辅助借口任务，以帮助学习受监督的下游任务。编码器同时通过借口任务和下游任务进行训练。

• 无监督表示学习（URL）：它首先通过自我监督的借口任务用未标记的节点对编码器进行预训练。然后，预先训练的编码器的参数被冻结，并在具有附加标签的监督下游任务中使用。

对比学习

对比学习的一般框架如下所示。这两个对比组件可以是局部的、上下文的或全局的，对应于图中的节点级（标记为红色）、子图级（标记绿色）或图级（标识黄色）信息。因此，对比学习可以对比两种观点（在相同或不同的尺度上），这导致了两类算法：

• （1）相同尺度的对比，包括局部-局部（L-L）对比、上下文-上下文（C-C）对比和全局-全局（G-G）对比；
• （2）跨尺度对比，包括局部上下文（L-C）对比、局部全局（L-G）对比和上下文全局（C-G）对比。
• 

参考文献
-Self-supervised Learning on Graphs: Contrastive, Generative, or Predictive Wu, Lirong and Lin, Haitao and Tan, Cheng and Gao, Zhangyang and Li, Stan Z IEEE.