超细节的对比学习和SimCSE知识点-CSDN博客

本文链接：https://blog.csdn.net/songyunli1111/article/details/119900480

本文探讨对比学习与SimCSE在自然语言处理中的应用，通过问答形式深入理解对比学习的基本原理，包括其与度量学习的区别、负例处理、infoNCE loss以及SimCSE中的dropout mask和无监督学习流程。SimCSE利用dropout作为数据增强手段，促进相同句子向量的拉近，以实现有效的语义表示学习。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

2020年的Moco和SimCLR等，掀起了对比学习在CV领域的热潮，2021年的SimCSE，则让NLP也乘上了对比学习的东风。下面就尝试用QA的形式挖掘其中一些细节知识点，去更好的理解对比学习和SimCSE。

1、如何去理解对比学习，它和度量学习的差别是什么？

2、对比学习中一般选择一个batch中的所有其他样本作为负例，那如果负例中有很相似的样本怎么办？

3、infoNCE loss 如何去理解，和CE loss有什么区别？

4、对比学习的infoNCE loss 中的温度常数的作用是什么？

5、SimCSE中的dropout mask 指的是什么，dropout rate的大小影响的是什么？

6、SimCSE无监督模式下的具体实现流程是怎样的，标签生成和loss计算如何实现？

1、如何去理解对比学习，它和度量学习的差别是什么？

对比学习的思想是去拉近相似的样本，推开不相似的样本，而目标是要从样本中学习到一个好的语义表示空间。

论文[1]给出的 “Alignment and Uniformity on the Hypersphere”，就是一个非常好的去理解对比学习的角度。

在这里插入图片描述

好的对比学习系统应该具备两个属性：Alignment和Uniformity（参考上图）。

所谓“Alignment”，指的是相似的例子，也就是正例，映射到单位超球面后，应该有接近的特征，也即是说，在超球面上距离比较近；

所谓“Uniformity”，指的是系统应该倾向在特征里保留尽可能多的信息，这等价于使得映射到单位超球面的特征，尽可能均匀地分布在球面上，分布得越均匀，意味着保留的信息越充分。分布均匀意味着两两有差异，也意味着各自保有独有信息，这代表信息保留充分。（参考自[2]）

度量学习和对比学习的思想是一样的，都是去拉近相似的样本，推开不相似的样本

但是对比学习是无监督或者自监督学习方法，而度量学习一般为有监督学习方法

而且对比学习在loss设计时，为单正例多负例的形式，因为是无监督，数据是充足的，也就可以找到无穷的负例，但如何构造有效正例才是重点

而度量学习多为二元组或三元组的形式，如常见的Triplet形式（anchor，positive，negative），Hard Negative的挖掘对最终效果有较大的影响

2、对比学习中一般选择一个batch中的所有其他样本作为负例，那如果负例中有很相似的样本怎么办？

在无监督无标注的情况下，这样的伪负例，其实是不可避免的，首先可以想到的方式是去扩大语料库，去加大batch size，以降低batch训练中伪负例的占比，减少它的影响。

另外，神经网络是有一定容错能力的，像伪标签方法就是一个很好的印证，但前提是错误标签数据或伪负例占较小的比例。

PS：也确有人考虑研究过这个问题，可以参考论文[3][4]

3、infoNCE loss 如何去理解，和CE loss有什么区别？

infoNCE loss 全称 info Noise Contrastive Estimation loss，对于一个batch中的样本i，它的loss为：
${L_i} = - \log ({e^{S({z_i},z_i^ + )/\tau }}/\sum\nolimits_{j = 0}^K { {e^{S({z_i},{z_j})/\tau }}} )$