MOCO动量编码

参考，推荐阅读

李沐论文精读系列三：MoCo、对比学习综述（MoCov1/v2/v3、SimCLR v1/v2、DINO等）_moco 对比学习-CSDN博客

背景

1. MOCO CVPR 2020

2. 对比学习：无监督学习的一种，重点学习同类实例中的共同特征，区分非同类实例的不同之处。

3. trick：projection head、更多的数据增强、使用用动量编码器、更大的 batch size

4.发展阶段

2018-->2019mid：InstDisc，Inva Spread，CPC，CMC

2019mid-->2020mid：MOCO(InstDisc改进)，SimCLR(Inva Spread改进)

2020mid-->2021mid：BYOL，SimSiam

2021mid-->2021end：MOCO V3，DINO

2021end：MAE

简介

MOCO的主要思想是一种移动加权平均，公式如下：

主要解决对比学习的两个问题，如下：

1.字典足够大 

将anchor以及正负样本的概念转换为key, query的形式，字典足够大，视觉特征更丰富。在队列里计算loss，将batch和队列大小区分开。

2.编码的特征尽量保持一致 

因为是字典大于batch，为保证输出的key由尽可能同一编码器产生，将m设置为0.999，这样保证编码器更新非常缓慢。

MOCO V2/V3

MOCO V2借鉴SimCLR加了映射头

MOCO V3是MOCO V2和SimSiam的延伸