自监督表征@Notebook｜from MLM task to Contrastive Learning

在自然语言处理（NLP）领域，BERT的出现具有划时代的意义，它将预训练这一概念引入了人们的视野。预训练借助一些自监督任务从输入数据中提取更本质的表征信息，这些信息具有很强的泛化能力，对其他相关下游任务具有显著的帮助。自监督预训练任务极大地解决了标注数据稀缺对模型训练的限制问题。 

在BERT这篇具有里程碑意义的论文中，预训练主要是基于Masked Language Modeling（MLM）等任务进行。如今，Transformer结构和MLM任务已经风靡各个领域，成为学术界和工业界的宠儿，但我们仍然需要面临一些严肃的问题：

1）基于Transformer结构和MLM任务得到的表征就是最好的表征了吗？

2）这种基于MLM任务的预训练是否是自监督的唯一范式？ 

为了解答以上问题，我们从MLM任务表征的分布缺陷（词向量的各向异性）出发，探讨模型结构和训练任务对自监督表征分布的影响，细致地来介绍一下自监督表征的另一个重要分支——对比学习的发展历程和经典结构。

点击链接开始连接学习：漫谈自监督领域的表征，from MLM task to Contrastive Learning