Improved Baselines with Momentum Contrastive Learning

Improved Baselines with Momentum Contrastive Learning

摘要

对比无监督学习最近显示出令人鼓舞的进展，例如在 Momentum Contrast (MoCo) 和 SimCLR 方面。在这篇笔记中，我们通过在 MoCo 框架中实现 SimCLR 的两个设计改进来验证它们的有效性。通过对 MoCo 的简单修改（即使用 MLP 投影头和更多数据增强），我们建立了优于 SimCLR 且不需要大量训练批次的更强基线。我们希望这将使最先进的无监督学习研究更容易获得。代码将公开。

引言

本说明建立了在 MoCo 框架中构建的更强大和更可行的基线。我们报告了 SimCLR 中使用的两个设计改进，即 MLP 投影头和更强的数据增强，与 MoCo 和 SimCLR 的框架正交，当与 MoCo 一起使用时，它们可以带来更好的图像分类和对象检测迁移学习结果。此外，MoCo 框架可以处理大量负样本，而无需大量训练（图 1）。与 SimCLR 需要 TPU 支持的 4k∼8k 大批量相比，我们的“MoCo v2”基线可以在典型的 8-GPU 机器上运行，并获得比 SimCLR 更好的结果。我们希望这些改进的基线能为无监督学习的未来研究提供参考。

背景

对比学习：可以描述为一个字典查找问题，一个有效的对比损失函数，称为 InfoNCE：

q 是查询表示，$k^{+}$是正（相似）关键样本的表示，{$k^{-}$} 是负（不相似）关键样本的表示。 $\tau$ 是温度超参数。在实例判别代理任务(由 MoCo 和 SimCLR 使用）中，如果查询和键是同一图像的数据增强版本，则它们形成正对，否则形成负对。

MOCO基线的消融，由RESNET-50评估，用于(i)ImageNet线性分类，和(ii)微调VOC对象检测（5个试验的平均值）。 “MLP”：具有MLP头； “Aug+”：带有额外的模糊增强； “COS”：余弦学习率计划。

实验

**设置。**在1.28M ImageNet训练集上进行无监督学习。我们遵循两种通用的评估协议。

1. ImageNet线性分类: 冻结特征并训练有监督的线性分类器;
2. 转移到VOC对象检测;

**增加MLP头。**用2层MLP头 (隐藏层2048维，带有RelU) 替换MoCo中的fc头。

注：这只会影响无监督的训练阶段; 线性分类或转移阶段不使用此MLP头。

ImageNet线性分类精度：

w/o是without的缩写，w/是with的缩写

使用默认 $\tau$ = 0.07 ，使用MLP头的预训练从60.6% 提高到62.9%; 切换到MLP的最佳值 (0.2)，精度提高到66.2%。结果与ImageNet上的大飞跃相反，检测增益较小。

增强。单独进行数据增强 (即，没有MLP) 将ImageNet上的MoCo基线提高了2.8% 63.4%，表1(b)。有趣的是，尽管线性分类精度低得多 (63.4% 对66.2%)，但其检测精度高于单独使用MLP (表1(b) 对 (a))。这表明线性分类精度与检测中的转移性能没有单调关系。使用MLP，额外的增强将ImageNet精度提高到67.3%，表1©。

**与SimCLR的比较。**表2将SimCLR [2] 与MoCo v2)进行比较。表1(d，e)。使用200轮和256的批量大小的预训练，MoCo v2在ImageNet上实现了67.5% 的精度: 在相同的轮次和批量大小下，比SimCLR高5.6% ，并且优于SimCLR的大批量结果66.6%。通过800轮的预训练，MoCo v2达到了71.1%，超过了SimCLR 1000轮的训练结果69.3%。

MoCo与SimCLR训练的无监督特征，在imagenet上面进行训练得到的准确率。