ICML会议图对比学习论文解读

论文题目：Graph Contrastive Learning Automated

会议：Proceedings of the 38 th International Conference on Machine Learning（2021）

本文作者的另一篇大火文章是： [2010.13902] Graph Contrastive Learning with Augmentations (arxiv.org)

问题引入

对比学习能够提取不同对比视图之间共享的信息。但仍有以下问题：

一、在图中生成对比视图比在图像中生成对比视图更具有挑战性，因为我们对如何在不改变labels的情况下生成增强视图的先验知识很少。

二、GraphCL的效果依赖于特定的数据增强方法，这些方法需要针对每个数据集手动选择，这限制了GraphCL的通用性。

三、手动选择数据增强方法需要繁琐的数据集特定的手动调优或领域知识，并在此基础上不断进行试错和验证。

本文贡献

 一、利用GraphCL作为基线模型，我们引入联合增强优化( JOAO )作为即插即用的框架，自动、自适应和动态地为特定图数据选择数据增强方法。JOAO可以被表述为一个双层优化框架，并被实例化为min-max优化。

二、本文设计了一个增强感知投影头机制，每个增强对对应一个非线性投影头，路由输出特征。

三、大量的实验表明，基于JOAO的GraphCL在多种类型和规模的图数据集上的表现与SOTA相当，甚至有时优于SOTA。另外，JOAO所做的增强选择基本与GCL中的“最佳选择”一致。

方法详解

可以看到这个图中，投影头的分布=数据增强的分布。

联合增强优化(JOAO)上层目标与GraphCL目标(或任何其他图对比学习方法的目标)相同，即使用交替梯度下降优化编码器参数θ；下层目标是优化采样分布P(A1,A2)以进行增强对选择。

其中是所有可能增广上的先验分布，dist是抽样与先验分布之间的距离函数，公式采用平方欧氏距离。使用均匀分布（0.2，0.2，0.2，0.2，0.2）作为先验来促进选择的多样性。 

我们采用交替梯度下降算法( AGD )，在上层最小化和下层最大化之间交替进行，如算法S1所示。上层通过给定的视图增强的分布来优化编码器参数θ，下层固定θ更新目标。

实验结果

红色数字表示前3名的准确率(%)或前2名的平均排名。

实验证明：

一、JOAO可以与使用详尽的手动调优的特殊规则的GraphCL相媲美。

二、增强感知投影头在JOAO上提供了进一步的改进。它的平均排名(2.8)仅次于GraphCL(2.6)。