图对比学习三篇顶会论文

1、Deep Graph Infomax

参考文献：Deep graph infomax[J]. ICLR (Poster), 2019, 2(3): 4.

本文提出了一个非随机游走的，基于互信息最大化的自监督图学习通用框架。方法部分和 Deep InfoMax 类似，上图中 为 GNN Encoder，根据图结构将节点编码为H，节点表示经过一个 Read-out 函数可汇总为图表示向量。同时，我们对原图进行扰动，并将扰动过的图经过相同的 GNN Encoder 得到扰动后的节点向量。通过 DecoderD，我们应使图表示与原图的节点表示H更接近，并使图表示与扰动图的节点表示更疏远。注意本工作是将图表示与节点表示做对比，是 Node-Graph 模式的。

2、Graph Contrastive Learning with Augmentations（NeurIPS 2020）

 首先随机采样一个 batch 的图，之后对每个图进行两次随机的数据增强，增强得到的图数据被称为 View，此后这个 batch 中由的 View 组成。这样同一个 batch 中，由相同的图增强得到的 View 互相之间为正例，不同的图增强得到的 View 互相之间为负例。对一个 batch 内的 View 均过一下 GNN Encoder（上图中的），得到节点的表示向量等。再经过非线形映射层g后，得到的图表示向量之间即可根据先前约定的正负例关系，计算对比学习的损失函数。在经过自监督的训练后，GNN Encoder 被保留，而非线形映射层被遗弃。

本文的对比学习的框架并无大的创新，重点在于讨论如何对图数据做数据增强。本文提出了四种图数据增强的方法，具体而言：

• Node Dropping：随机删除图中的节点及与之相连的边；

• Edge Perturbation：随机增加 / 删除图中一定比例的边；

• Attribute Masking：随机 Mask 节点的属性；

• Subgraph：使用随机游走算法得到的子图（假设图的语义信息可以较大程度上被局部结构保留）；

本文也对这四种图数据增强策略的使用进行了讨论。（1）图数据增强策略的选择对图对比学习至关重要；（2）组合多种合适的图数据增强策略可以达到更好的效果；（3）对边的扰动（Edge Perturbation）对社交网络图有益，但会损害化学分子图（由于分子图中化学键对分子性质起重要作用）；（4）稠密图中 Attribute Masking 效果更好；（5）一般而言，Node Dropping 和 Subgraph 都可以起到比较好的效果。

3、Contrastive Multi-View Representation Learning on Graphs（ICML2020）

本文提出的方法在框架上与 DGI （Node-Graph 对比的模式）和 SimCLR（同一张图增强出两个 View）类似，主要创新点在于提出 Diffusion 这种数据增强方法，以及经验化地分析了图对比学习的一些实验 Trick。

图数据增强方面，主要分为特征层面和结构层面两种。特征层面的数据增强方法主要为随机 Mask 特征，以及加入高斯噪声；结构层面的数据增强主要包括增加或删除边、采样子图、或者产生全局层面的 View（Global View）。本工作的主要创新则集中在 Global View 上。文中的Global View 即是将离散的邻接矩阵稠密化，对邻接矩阵进行重新赋值，任意两点之间都可以有一个浮点数值，两点联系的密切程度。一种平凡的方式是将两点之间的值设为图上的最短距离；更普适性的方式则沿用 NeurIPS 2019 的工作，使用 Diffusion操作。Diffusion 也包含多种方式，如 Personalized PageRank (PPR) 或 heat kernel。详细推导请参考原文。本文实验中发现 PPR 方式的 Diffusion 效果最好。

本文还通过大量实验，给出了若干图对比学习的经验性结论。（1）多于 2 个的 View 对效果几乎没有提升，只用两个 View 即可；（2）只做 Node-Graph 模式的对比，效果要优于 Graph-Graph 的对比，或者多种对比方式混合；（3）对于由节点表示产生图表示的过程，简单的 Readout 函数要优于参数化的 Pooling 层；（4）正则 （regularization）和标准化（normalization）往往会产生负面影响。