对比学习、自监督学习的理解

自监督学习定义：
自监督学习主要是利用辅助任务从大规模的无监督数据中挖掘自身的监督信息来提高学习表征的质量，通过这种构造监督信息对网络进行训练，从而可以学习到对下游任务具有价值的表征。

辅助任务（pretext）：
可以认为是一种为达到特定训练任务而设计的间接任务。pretext任务的好处是为了简化原任务的求解，在深度学习中就是避免人工标记样本，实现无监督的语义提取。Pretext任务可以进一步理解为：对目标任务有帮助的辅助任务。主要pretext task包括：图像旋转、图像着色、图像修复。

下游任务：图像分类、目标检测等等等

对比学习：
自监督学习算法分为两种：对比方法和生成方法。对比学习属于自监督学习，所以对比学习是没有标签的。对比学习是通过构造正负样例来学习特征。如何构造正负样例对对比学习来说很重要。对于一个输入样本x来说，存在与之相似的样本x+以及与之不相似的样本x-，对比学习要做的就是学习一个编码器f，这个编码器f能够拉近x与其正样本间的距离，推远x与其负样本之间的距离。