#今日论文推荐# ECCV 2022 | 腾讯优图提出DisCo：拯救小模型在自监督学习中的效果

#今日论文推荐# ECCV 2022 | 腾讯优图提出DisCo：拯救小模型在自监督学习中的效果

自监督学习通常指的模型在大规模无标注数据上学习通用的表征，迁移到下游相关任务。因为学习到的通用表征能显著提升下游任务的性能，自监督学习被广泛用于各种场景。通常来讲，模型容量越大，自监督学习的效果越好 [1,2]。反之，轻量化的模型（EfficientNet-B0, MobileNet-V3, EfficientNet-B1) 在自监督学习上效果就远不如容量相对大的模型 (ResNet50/101/152/50*2)。
目前提升轻量化模型在自监督学习上性能的做法主要是通过蒸馏的方式，将容量更大的模型的知识迁移给学生模型。SEED [2]基于MoCo-V2框架 [3,4]，容量大的模型作为Teacher，轻量化模型作为Student，共享MoCo-V2框架中负样本空间（Queue），通过交叉熵迫使正样本与相同的负样本在Student与Teacher空间中的分布尽可能相同。CompRess [1]还尝试了Teacher和Student维护各自的负样本空间，同时使用KL散度来拉近分布。以上方法可以有效的将Teacher的知识迁移给Student，从而提升轻量化模型Student的效果（本文会交替使用Student与轻量化模型）。
本文提出了 Distilled Contrastive Learning (DisCo)，一种简单有效的基于蒸馏的轻量化模型的自监督学习方法，该方法可以显著提升Student的效果并且部分轻量化模型可以非常接近Teacher的性能。

论文题目：DisCo: Remedy Self-supervised Learning on Lightweight Models with Distilled Contrastive Learning
详细解读：https://www.aminer.cn/research_report/62c3e3d77cb68b460fe3564chttps://www.aminer.cn/research_report/62c3e3d77cb68b460fe3564c
AMiner链接：https://www.aminer.cn/?f=cs