【论文精读】DINOv2

摘要

       学习与特定任务无关的预训练表示已经成为自然语言处理的标准，这些表示不进行微调，即可在下游任务上明显优于特定任务模型的性能。其主要得益于使用无监督语言建模目标对大量原始文本进行预训练。 遵循NLP中的这种范式转变，以探索计算机视觉中类似的基础模型。 这种基础模型应该生成在任何任务上都可以开箱即用的视觉特征，无论是在图像级别如图像分类还是像素级别如分割。

       本文基于以往视觉判别式自监督学习方法（如IBT），提出如下改进：

• 建立了一个自动pipeline，从大量未经整理的图像集合中利用图像相似性过滤及利用聚类方法平衡数据集模式分布收集了一个小型多样化的语料库，包含1.42亿张没有标签的图像
• 开源了多种DINOv2预训练ViT，具备比以往自监督ViT更优的性能
• 证明了在大量数据上进行预训练，自监督学习具有学习通用视觉特征的潜力
  

       上图每一列都为对DINOv2的输出特征采用PCA后的主成分相互匹配的图像，每张图对应的右侧图为前3个主成分特征可视化的结果。观察到采用无监督训练的DINOv2具备优秀的特征提取能力，验证了上述的改进结论。

       上图为DINOv2在8种不同类型的视觉任务的性能，虚线为最好的弱监督方法的性能，淡橙色为自监督方法的性能，深粉色为弱监督方法的性能。观察到DINOv2大幅改善了以往的自监督学习方法，达到了与弱监督相当的性能。

数据处理

       本文提出的LVD-142M数据集由一个巨大的未整理的数据池中检索了几个精选数据集中的图像得到的图像数据集和被用于检索的几个精选数据集组成。详细流程如下图：

Data sources

       数据源包括作为检索条件的精选数据源和一个未经整理的数据池。其中精选数据源详情如上表，包含ImageNet22k、ImageNet1k的训练集、Google Landmarks和几个细粒度数据集。未整理数据池包含1.2B张图像，其来源于一个利用爬虫爬取的未经过滤的公开可用网络仓库，并取出仓库中的所有网页的标签的图像 URL链接，其中丢弃了不安全或受域名限制的URL，并对下载的图像进行了后处理（PCA哈希去重、NSFW过滤和模糊可识别的人脸）。

Deduplication

       将copy detection pipeline应用于未经整理的数据池，并对图像去重，这减少了冗余并增加了图像间的多样性。另外对精选数据源中的测试或验证集也进行了图像去重。

Self-supervised image retrieval

       通过从未整理的数据池中检索与精选数据源中的图像接近的图像来构建预训练数据集。对任意两张图像，使用在ImageNet22k上预训练的自监督ViT-H/16网络计算图像嵌入，并使用余弦相似度作为图像之间的距离度量。
$$m(s,r)=cosine\_similarity(f(s),f(r))=\frac{f(s),f(r)}{||f(s)|{|}_2||f(r)|{|}_2}$$