CV-对比学习-模型-2020：SimCLR

SimCLR：一个简单的视觉表示对比学习框架，不仅比以前的工作更出色，而且也更简单，既不需要专门的架构，也不需要储存库。

提出了一个简单的视觉表示对比学习框架SimCLR。我们简化了最近提出的对比自监督学习算法，而不需要专门的架构或memory bank。为了理解是什么使对比预测任务能够学习到有用的表示，我们系统地研究了框架的主要组成部分。我们发现：(1)数据扩增的组合在定义有效预测任务中起着关键作用；(2)在表示和对比损失之间引入一个可学习的非线性变换，极大地提高了表示学习的质量；(3)与监督学习相比，对比学习受益于更大的批量和更多的训练步。综合这些发现，我们在ImageNet上取得了显著优于之前自监督和半监督学习方法的成绩。基于SimCLR学习的自监督表示训练的线性分类器达到了76.5%的top-1精度，比之前的SOTA方法提高了7%，与有监督的ResNet-50的性能相当。当仅在1%的标签上进行微调时，我们的方法达到了85.8%的top-5精度，比AlexNet少了100倍的标签量。

论文解读（SimCLR）《A Simple Framework for Contrastive Learning of Visual Representations》 - 走看看