SimCLR 论文阅读

SimCLR原文链接
1. 导读 ：这篇文章通过严密的实验设计，系统的探究出了学习出一个好的对比学习的网络的一些必要因素。在本篇文章中，有以下三点：

• Data argumentation 数据增强起到了至关重要的作用
• 对比学习的损失函数和非线性映射也有很重要的影响
• 更大的batch size和更多的迭代步骤能让对比学习的模型效果更好。（换句话说是不是说明收敛较慢呢？）

通过利用本文中实验验证的一些因素，作者设计出了一个新的对比学习的模型，称为SimCLR。通过在ImageNet上使用SimCLR进行自监督学习，作者达到了新的SOTA水平，最终达到了 76.5%/85.8%的Top1/Top5 Acc。

2. Method

  受到最近的一些对比学习的启发，作者通过计算一个图片在不同的数据增强下的特征一致性的损失值来评估模型所学到的特征表示的性能。

2.1 基本的对比学习框架如下图所示：

$\mathbf{x}$ 代表的是任意一张图片，${\mathbf{x}}_{}$