买标注数据太贵！自己标太麻烦了！ 自监督对比学习帮帮你

​大数据时代数据多，然而有标注的数据非常有限，并且对于一些专业性强的领域，标注数据也是非常困难。因此如何去学习数据自身的特性，比较数据间的差异，通过表示每个数据的独特特征来省去标注的过程。对比学习就是一次比较好的尝试。

 

对比学习介绍

对比学习是通过学习对两个事物的相似或不相似进行编码来构建表征。最简单的方法是正样本是通过作为给定样本的数据增强生成的，负样本是batch中随机采样的，目标是判别否来源于同一样本。

 

 

对比学习的优势

1. 无需标签信息，在大规模无监督数据中自动构造监督信息，来进行监督学习或训练

2. 非任务驱动，学习到更丰富的语义表征，学到的知识可重复利用

3. 关注数据本身的特征

4. 学习的是样本间对比特征，而非像素级的细节特征

 

对比学习方法

现有的对比学习方法可以分为以下三类：

1. 全局-局部对比。侧重于建模样本的局部特征与其全局上下文表示之间的归属关系。当学习局部特征的表示时，希望它与全局内容的表示相关联。

 

 预测相对位置(PRP）

PRP 专注于学习本地组件之间的相对位置。 

 

预测位置关系 Unsupervised Visual Representation Learning by Context Prediction, ICCV2015

 

对一张图像给定一个patch，预测另一个patch相对于其的位置关系。

 

Unsupervised representation lear