u013250861的博客

对比学习从目标来看，是要做在NLP类型类似Bert预训练的事，即通过自监督学习，充分挖掘模型从海量无标注数据中学习通用知识的能力。

为了理解是什么使对比预测任务能够学习到有用的表示，我们系统地研究了框架的主要组成部分。(2)在表示和对比损失之间引入一个可学习的非线性变换，极大地提高了表示学习的质量；(3)与监督学习相比，对比学习受益于更大的批量和更多的训练步。基于SimCLR学习的自监督表示训练的线性分类器达到了76.5%的top-1精度，比之前的SOTA方法提高了7%，与有监督的ResNet-50的性能相当。当仅在1%的标签上进行微调时，我们的方法达到了85.8%的top-5精度，比AlexNet少了100倍的标签量。

第一阶段大概讲了这几篇论文，可以看到它们使用的代理任务是不一样的，有个体判别，有预测未来，还有多视角多模态它们使用的目标函数也不尽相同，有 NCE，有infoNCE，还有NCE的其它变体它们使用的模型也都不一样，比如说invariant spread用了一个编码器；Inst Disc用一个编码器和memory bank；cpc有一个编码器，还有一个自回归模型；cmc可能有两个甚至多个编码器它们做的任务从图像到视频到音频到文字到强化学习，非常的丰富多彩。

MoCo：是以上两者的融合版本，将 dictionary 作为一个 queue 进行维护当前的negative candidates pool，且它是改成了 queue 的动态更新机制，每 sample 一个 batch key（所以一个 trick 就是会使用 Shuffling BN，打乱再 BN），进队后相对于一些最早进入队列的 mini-batch 对应的 key 进行出队操作，这样保证一些过时的、一致性较弱的 key 可以被清除掉。自监督学习有大类方法，一个是生成方法一个对比方法，如上图。