MOCO、SimCLR、MOCO2、BYOL

自监督经典论文

MOCO

在MOCO之前，对比学习的方式有两种。
（a）需要两个encoder计算正样本q和负样本k，这依赖于大batchsize，并且需要两边梯度回传。
（b）memory bank的方式，将所有负样本存在bank中，每次计算loss时只需要计算正样本q，不需要更新负样本。但是问题很明显，负样本的映射方式f(x)是一尘不变的，而正样本encoder是一直更新。这导致两边差距越来越大。

MOCO提出了一种新的方式，原来数据结构也可以应用到深度学习。亮点如下：
（1）MOCO是带有正样本和负样本的两个encoder，但是负样本的encoder是不用梯度更新而是用动量的方式更新参数。
（2）维护了一个负样本k的队列，里面不但有当前batchsize的负样本还有之前batch的样本（之前的正样本是当前的负样本），采用先进后出的方式进行sample。

SimCLR

正样本负样本使用一个encoder，负样本采用一个batch中的其他图像，需要batchsize要达到几千。
同时论文选出了了几种图像增强方法：随机裁剪和resize、随机颜色扰动、高斯噪声。并且encoder完的embeding不直接计算loss，而是过了MLP。

MOCO2

没有太多变化，图像增强方式和借鉴SimCLR的MLP。

BYOL

BYOL没有使用成本昂贵的负样本策略。首先两种不同的图像增强方式，得到v和v’。然后过参数不同的encoder（y）和MLP（z）得到特征表达。此时的特征可以理解为已经是一个相同空间下的两个向量。对于下面的分支计算流程终止，对于上面分支还需要在过一个MLP称为投影变化，使上面分支特征向量朝着下面特征向量靠近。下面分支参数更新采用动量方式。