最早在2005年被Sumit Chopra et all提出.对比学习是一种从相似/不相似数据pair对中学习相似/不相似表征的框架。常见的损失函数就是InfoNCE,如下所示:
q是query样本的表达,k+和k-分别是正例和负例的表达.通常q和k是同一个图片的增强样本.最后温度超参tau用户调节敏感度,这在很多对比学习论文中都是这样的思路.
最著名的莫属Ting Chen et al提出的SimCLR.
首先,我们通过对一个mini-batch做增强,以获得positive pair。然后,将相同的编码器f和投影g(MLP)应用于增强样本。最后,我们应用上面定义的对比损失来最大化相同样本图像的positive pair之间的一致性,最小化距离。需要注意的是,batchsize越大,对比学习框架中的负面样本就越多,这带来了计算复杂度。
Ishan Misra et al提出PIRL,上图显示了PIRL框架的概述。I_t是原始样本图像I的增强样本,而θ表示主编码器(ResNet)的权重,f和g是两个独立的投影(全连接层)。正如我们所看到的,我们需要获得9个变换/增强的图像块,并连接它们的表示。最后使用下式进行对比学习:
m_I是原始图像的特征向量,用完会存在memory bank M中,因此上式的目标就是最大化特征向量m_I和来自两个分支的相应投影之间的一致性。需要注意负样本是从memory bank中随机抽取的。
Kaiming He et al 提出MoCo, 如下图所示:
如上图所示,作者放弃了在整个训练过程中存储特征表示的memory bank,因为它在训练中会带来内存开销。相反,他们引入了一个momentum encoder,该编码器被更新为主要在线编码器的移动平均值。此外,他们提出字典作为队列结构(先进先出),它还存储特征表示。它比内存库小得多,因为作者认为不需要存储过去epoch获得的特征向量。如图中所示,对比损失是通过最小化来自两个网络的图像增强pair对的表示距离和最大化从字典中随机抽样的表示距离来实现的。有趣的是,有很多研究表明,由memory实现的表示平均与momentum encoder非常相似。然而,动量编码器显著降低了内存成本。
伪代码如下:
MoCo v2对原始框架进行了一些修改。根据上图,总结如下:
1、两个encoder增加了mlp作为最终模块,如下代码所示.我们可以看到,我们只是用一对全连接层替换最后一个完全连接的层,中间有ReLU激活(隐藏层2048-d,带有ReLU)。
2、更强的数据增强方式(blur augmentation)
3、学习率(cosine learning rate scheduler)
MoCo v3伪代码如下:
总结就是所有mlp都有BN,并且batch size在4096效果足够好,伪代码中的backbone可以尝试用ViT做替换.
BYOL完全放弃了MoCo和PIRL使用的字典和Memory Buffer的方式,提出了prediction head.上图中,我们可以看到prediction head是作为在线encoder的,并且尝试去预估momentum encoder的投影,prediction head的存在就是避免所有representation都是一样的.
作者完全放弃使用阴性样本,并提出如下损失:
此外还有Siamese和RAFT.以下参考文献中的论文都推荐大家详细阅读.
1、Learning a Similarity Metric Discriminatively, with Application to Face Verification
http://yann.lecun.com/exdb/publis/pdf/chopra-05.pdf
2、A Simple Framework for Contrastive Learning of Visual Representations
https://arxiv.org/pdf/2002.05709.pdf
3、Self-Supervised Learning of Pretext-Invariant Representations
https://arxiv.org/pdf/1912.01991.pdf
4、Momentum Contrast for Unsupervised Visual Representation Learning
https://arxiv.org/pdf/1911.05722.pdf
5、Bootstrap Your Own Latent A New Approach to Self-Supervised Learning
https://arxiv.org/pdf/2006.07733.pdf
6、An Empirical Study of Training Self-Supervised Vision Transformers
https://arxiv.org/pdf/2104.02057.pdf
7、Exploring Simple Siamese Representation Learning
https://arxiv.org/pdf/2011.10566.pdf
8、RUN AWAY FROM YOUR TEACHER: UNDERSTANDING BYOL BY A NOVEL SELF-SUPERVISED APPROACH
https://arxiv.org/pdf/2011.10944.pdf