A Simple Framework for Contrastive Learning of Visual Representations

Abstract

提出了一种用于视觉表示的对比学习简单框架，并且结构简单，不需要专门的架构或特殊的存储库。
作者发现：
（1）数据增强的组合在定义有效的预测任务中起着至关重要的作用。
（2）在表示和对比损失之间引入可学习的非线性变换，大大提高了学习表示的质量。
（3）与监督式学习相比，对比式学习得益于更大的批量和更多的训练步骤，更深更宽的网络也更加有用。
（4）具有对比交叉熵损失的表示学习得益于归一化嵌入（normalized embeddings）和适当调整的温度（temperature）参数。
使用SimCLR训练的线性分类器在ImageNet上实现了超越之前所有半监督与自监督的方法，跟监督学习算法相媲美。

Method

The Contrastive Learning Framework

SimCLR通过潜在空间中的对比损失来最大化同一数据示例的不同增强视图之间的一致性，从而学习表示形式。

$f(.)$作者使用的是一个ResNet结构$h_i=f(x{˜}_i)=ResNet(x{˜}_i)$,