本文介绍了对比学习在深度学习中的重要性，特别是MoCo、SimCLR、BYOL和SimSiam这四个热门模型。对比学习通过正负样本对比优化表示学习，其中MoCo强调负样本数量，SimCLR关注数据增强和非线性投影，BYOL则无需负样本，SimSiam采用stop-grad防止模型退化。这些模型在无监督学习和表示学习中取得了显著进展。
©PaperWeekly 原创 · 作者｜上杉翔二
单位｜悠闲会
研究方向｜信息检索
很多大佬认为，深度学习的本质就是做两件事情：Representation Learning（表示学习）和 Inductive Bias Learning（归纳偏好学习）。在表示学习方面，如果直接对语义进行监督学习，虽然表现很好，但是它需要很多的样本并且往往是需要对特定的任务进行设计，很难具有迁移性。所以难怪各位大佬们都纷纷为自监督学习站台，自监督是未来！
自监督学习有大类方法，一个是生成方法一个对比方法，如上图。生成方法往往会对像素级损失进行约束，关于这一类笔者已经在之前的文章中进行了整理，而对比学习在表示学习上做的事情就是：其实模型不必要知道关于特征的细节，只要学到的特征足以使其和其他样本区别开来就行。
Contrastive loss
对比损失 Contrastive loss，简单的解释就是，利用对比正-负样本来学习表示。学习的目的为：
这里 x+ 是与 x 相似或相等的数据点，称为正样本。x− 是与 x 不同的数据点，称为负样本。score 函数是一个度量两个特征之间相似性的指标，直接算内积来表示：
然后尝试优化以下期望，即让正例样本越相似，要负例样本越远就好。
其实这个叫法最初似乎出自 Yann LeCun “Dimensionality Reduction by Learning an Invariant Mapping”，本来是用于处理在降维空间中正样本和负样本之间的相似/不相似的远近距离关系，式子为：
其中 ，代表两个样本特征的欧氏距离，y 为两个样本是否匹配的标签，y=1 代表两个样本相似或者匹配，y=0 则代表不匹配，margin 为设定的阈值。
损失函数主要惩罚如果原本相似的样本 y=1，但在特征空间的欧式距离较大，则说明当前的模型不好，损失变大。同样的如果原本不相似 y=0，但其特征空间的欧式距离反而小的话，损失也会变大。
上图是 loss 与样本特征的欧式距离 d 之间的关系，其中红色虚线表示的是相似样本的损失值，蓝色实线表示的不相似样本的损失值。
def contrastive_loss(self, y,d,batch_size):
tmp= y *tf.square(d)
#tmp= tf.mul(y,tf.square(d))
tmp2 = (1-y) *tf.square(tf.maximum((1 - d),0))
return tf.reduce_sum(tmp +tmp2)/batch_size/2
而这种成对 loss 的思想在其他领域如搜索推荐会有其他的变体：
Pairwise Ranking Loss
Triplet Ranking Loss
而马上要总结的 MoCo 使用的其实是 Contrastive loss 一种变体 InfoNCE：
一个正例
最低0.47元/天 解锁文章
410
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
