3-3-Dense Contrastive Learning for Self-Supervised Visual Pre-Training(arXiv2020)

 DenseCL：自监督视觉预训练的密集对比学习

本文提出一种像素级的自监督学习方法，在目标检测，语义分割和实例分割任务上优于MoCov2，代码即将开源！

大多数现有的自监督学习方法都是针对图像分类进行设计和优化的。由于图像级预测和像素级预测之间的差异，这些预训练模型对于密集的预测任务可能不是最佳的。为了填补这一空白，我们旨在设计一种有效，密集的自监督学习方法，该方法通过考虑局部特征之间的对应关系，直接在像素（或局部特征）级别上起作用。

我们提出了密集的对比学习，该学习通过在输入图像的两个视图之间的像素水平上优化成对的对比（不相似）损失来实现自监督学习。