RIPGeo参文36（GraphCL）：A simple framework for graph contrastive learning without data augmentation

[36] Y. You, T. Chen, Y. Sui, T. Chen, Z. Wang, and Y. Shen, “Graph contrastive learning with augmentations,” NeurIPS, vol. 33, 2020.

论文地址：https://arxiv.org/pdf/2010.13902.pdf

代码：https://github.com/Shen-Lab/GraphCL

一、概述

预训练在深度模型的训练过程中相当于作为一个正则化器以避免梯度消失或爆炸。而对于GNN而言，很少有关于（自监督）预训练相关技术的研究。究其原因可能是图数据集通常规模较小，而且GNN模型通常在结构上设计较浅以避免过平滑（over-smoothing）或者信息损失。对于图数据集来说，数据的标注（比如化学和生物领域内的分子标注）是困难的，预训练的方法可以缓解这一问题，因而本文着力研究图数据集上的自监督预训练方法。

图是具有不同性质的原始数据的抽象表示，数据可能来自各个领域（比如化学分子或者社交网络），在图的上下文中存在极为丰富的信息，因而不容易设计一个能够应用在各种下游任务的通用框架。一种比较朴素的预训练方式如GAE、GraphSAGE，主要通过重构节点邻接信息来实现，这种方式是非常有限的，因为其过分强调接近性，这并不总是有效的，有时候会忽略和损伤结构信息。因此，需要一个设计良好的预训练框架来捕获图结构数据中的高度异构信息。

本文提出的GraphCL作为一种图的预训练框架，采用对比学习的方法作为基础，并且实验采用了四种不同的图数据增强方式，同时应用互信息最大化的方法来进行训练。

结果表明，即使不使用调优增强扩展或使用复杂的GNN体系结构，我们的GraphCL框架也可以产生与现有方法相似或更好的可泛化、可移植性和鲁棒性的图形表示。我们还研究了参数化的图形增强程度和模式的影响，并在初步实验中观察到进一步的性能提升。

二、方法

1、图神经网络

GNN通常遵循一个迭代的邻域聚合框架，使用来表示一个无向图，同时是特征矩阵，是节点的维特征向量。考虑一个层GNN，其第层的传播过程如下：