【自监督学习】对比学习（Contrastive Learning）介绍

1. 前言

1.1. 为什么要进行自监督学习

       我们知道，标注数据总是有限的，就算ImageNet已经很大，但是很难更大，那么它的天花板就摆在那，就是有限的数据总量。NLP领域目前的经验应该是：自监督预训练使用的数据量越大，模型越复杂，那么模型能够吸收的知识越多，对下游任务效果来说越好。这可能是自从Bert出现以来，一再被反复证明的真理，如果它不是唯一的真理，那也肯定是最大的真理。图像领域如果技术想要有质的提升，可能也必须得走这条路，就是充分使用越来越大量的无标注数据，使用越来越复杂的模型，采用自监督预训练模式，来从中吸取图像本身的先验知识分布，在下游任务中通过Fine-tuning，来把预训练过程习得的知识，迁移给并提升下游任务的效果。

1.2. 什么是自监督学习

       利用代理任务（pretext task）从大规模的无监督数据中挖掘自身的监督信息，通过这种构造的监督信息对网络进行训练，从而可以学习到对下游任务有价值的表征。

1.3. 自监督学习分类

• 生成式的方法（Generative Methods） ：这类方法以自编码器为代表，主要关注pixel label的loss。即在自编码器中对数据样本编码成特征再解码重构，这类型的任务难度相对比较高，要求像素级的重构，中间的图像编码必须包含很多细节信息举例来说，这里认为重构的效果比较好则说明模型学到了比较好的特征表达，而重构的效果通过pixel label的loss来衡量。如VA