关于语义相似度匹配的问题

对比学习范式是什么？

对比学习的典型范式就是：代理任务+目标函数。代理任务和目标函数也是对比学习与有监督学习最大的区别。有监督学习的流程是输入，通过模型，得到输出，输出的和真实label（ground truth）通过目标函数计算损失，以此进行模型训练。而对于无监督学习或自监督学习来说，是没有ground truth的，那怎么办呢？代理任务就是来解决这个问题的，我们用代理任务来定义对比学习的正负样本，无监督学习一旦有了输出和真实的label，就需要有一个目标函数来计算两者的损失从而指导模型的学习方向。

CoSENT（Cosine Sentence）的损失函数是什么？

对于任意的正样本对和负样本对，使正样本对的相似度大于负样本对的相似度。

CoSENT（Cosine Sentence）跟SimCSE或对比学习有什么不同？

从损失函数的形式上来看两者确有一点相似之处，但含义完全不同的。

标准的SimCSE是只需要正样本对的（通过Dropout或者人工标注构建），然后它将batch内的所有其他样本都视为负样本；而有监督版的SimCSE则是需要三元组的数据，它实际上就是把困难样本补充到标准的SimCSE上，即负样本不只有batch内的所有其他样本，还有标注的困难样本，但同时正样本依然不能缺，所以需要“(原始句子, 相似句子, 不相似句子)”的三元组数据。

至于CoSENT，它只用到了标注好的正负样本对，也不包含随机采样batch内的其他样本来构建负样本的过程，我们也可以将它理解为对比学习，但它是“样本对”的对比学习，而不是像SimCSE的“样本”对比学习，也就是说，它的“单位”是一对句子而不是一个句子。