[SimCLR] A Simple Framework for Contrastive Learning of Visual Representations

1、目的

        无监督对比学习，高效提取视觉特征

2、方法

        simple framework for contrastive learning of visual representations (SimCLR)

        通过contrastive loss来最大化不同数据增强下的同一个数据之间的一致性

        

        1）数据增强：随机裁剪、随机色彩失真、随机高斯模糊

                        

        2）编码器f(·)。可以任选框架，文中用的是ResNet-50

        3）映射头g(·)。2层MLP。。在上计算contrastive loss要优于在

        4）对比损失

                NT-Xent (the normalized temperature-scaled cross entropy loss)。positive pair（i, j）的损失函数为：

                

                

3、训练技巧

        没有用到memory bank，就改用大的batch size

        1）LARS optimizer

        2）global BN。ddp会将positive pair放在同一个device上计算，而BN也不在不同device之间同步，因此带来了信息泄露。所以需要将不同device上的BN均值和方差收集起来，做统一计算

4、结论

        1）数据增强（相较于有监督学习来说）更重要

        2）特征表示和contrastive loss之间可学习的非线性变换能极大地提升学到的特征表示的质量

        3）用contrastive CE loss进行特征学习需要对embedding进行归一化，并调整温度参数

        4）增加batch size、training steps和网络的深度和宽度（相较于有监督学习来说）更有助于结果提升