Embedding模型提升效果的方法之二：对比学习（SimCSE最先用在文本表征上）

0. 前言

SimCSE是通过对比学习的方式缓解预训练模型的各向异性问题，各向异性的产生原因在上一篇文章中已有介绍。SimCSE是2021年出的，后面出的 embedding 模型几乎都使用了对比学习来缓解预训练语言模型的各向异性问题。前面介绍的几篇文章无一例外使用了对比学习。

1. 介绍

SimCSE（simple contrastive sentence embedding framework），意为简单的对比句向量表征框架。SimCSE的核心就是使用了对比学习的方法，从而提升对句子的表征能力。如今的预训练语言模型都会存在各向异性的问题，所以需要通过对比学习来加以缓解。下文主要介绍对比学习，SimCSE如何使用对比学习，以及为什么对比学习可以缓解各向异性的问题。

2. 对比学习背景

定义

对比学习就是以拉近相似数据，推开不相似数据为目标，有效地学习数据表征。给定一个pair对样本集合