NLP中的对比学习：ConSERT\EsimCSE

一、ConSERT

论文：https://arxiv.org/abs/2105.11741

美团官方解读：
https://tech.meituan.com/2021/06/03/acl-2021-consert-bert.html

代码：
https://github.com/yym6472/ConSERT

代码的issues作者都有回答，可以仔细看看，其中也对consert和simcse的区别进行了详细的对比https://github.com/yym6472/ConSERT/issues/1

论文中的几个重点：

1、原生模型的坍缩现象：

讲到了bert系预训练语言模型的句子表示的坍缩现象，这也是为什么STS需要用对比学习的原因。

2、对比学习的介绍

相似的事物在编码后的表示空间中应当相当相近，不同的事物则应当相距尽可能远。通过对同一样本施加不同的数据增强方法，得到一系列“自相似”的文本做正例，同时将同一个batch的其他文本做负例，以此为监督信号去规范句向量的表示

3、不同的DA策略对对比学习的作用

Token Shuffle > Token Cutoff >> Feature Cutoff ≈ Dropout >> None

同时这篇论文也对比出，无监督训练时，1000条数据和10000条数据甚至全量数据相比，效果差不多，这跟我之前用simcse做训练时碰到的情况相同，效果最好的模型是第一个epoch跑了几个steps后的模型。

二、EsimCSE

论文：https://arxiv.org/abs/2109.04380

代码参考：https://github.com/shuxinyin/SimCSE-Pytorch

论文中的几个重点：

1、simcse的缺点

simcse的DA策略是，通过对同一个句子进行两次dropout。这样创造的正例和原文本的长度是一样的，所以认为模型学习到了长度信息，更偏向将长度一样或相近的语句识别为语义相似。

2、esimcse的DA策略

对正样本：进行简单的word repetition, 相比insert 和 delete， 对词进行重复更不容易改变原文语义。

对负样本：
借鉴CV中的momentum contrast，用于对抗学习中，增加负样本的学习。

3、simcse的batch size

对batch size进行实验对比，发现在simcse中，batch size=64 的时候，效果最好。