Contrastive Learning（对比学习，MoCo，SimCLR，BYOL，SimSiam，SimCSE）

很多大佬认为，深度学习的本质就是做两件事情：Representation Learning（表示学习）和 Inductive Bias Learning（归纳偏好学习）。在表示学习方面，如果直接对语义进行监督学习，虽然表现很好，但是它需要很多的样本并且往往是需要对特定的任务进行设计，很难具有迁移性。所以难怪各位大佬们都纷纷为自监督学习站台，自监督是未来！

自监督学习有大类方法，一个是生成方法一个对比方法，如上图。生成方法往往会对像素级损失进行约束，关于这一类博主已经在前一篇文章整理了传送门：视觉无监督学习，而对比学习在表示学习上做的事情就是：

• 其实模型不必要知道关于特征的细节，只要学到的特征足矣使其和其他样本区别开来就行。

Contrastive loss
对比损失Contrastive loss，简单的解释就是，利用对比正-负样本来学习表示。学习的目的为
$$score(f(x),f(x^{+}))>>score(f(x),f(x^{-}))$$
这里x+是与x相似或相等的数据点，称为正样本。x−是与x不同的数据点，称为负样本。score函数是一个度量两个特征之间相似性的指标，直接算内积来表示：
$$score(f(x),f(x^{+}))=f(x{)}^{T}f(x^{+})$$
然后尝试优化以下期望，即让正例样本越相似，要负例样本越远就好。
$$E[-log\frac{e^{f(x{)}^{T}f(x^{+})}}{e^{f(x{)}^{T}f(x^{+})}+e^{f(x{)}^{T}f(x^{-})}}]$$

其实这个叫法最初似乎出自Yann LeCun “Dimensionality Reduction by Learning an Invariant Mapping”，本来是用于处理在降维空间中正样本和负样本之间的相似/不相似的远近距离关系，式子为： L = 1 2 N ∑ n = 1 N y d 2 + ( 1 − y ) m a x ( m a r g i n − d , 0 ) 2 L=\frac{1}{2N}\sum_{n=1}^Nyd^2+(1-y)max(margin-d,0)^2 L=2N1​