[CLS]预训练语言模型的前世今生[SEP]萌芽时代[SEP]

之前，我们公众号发表过几篇前沿论文的阅读笔记，欢迎大家去阅读和交流。而在这里，我们将会做一个NLP专题的系列阅读，专门阅读某些专题的论文。第一个当然是预训练语言模型，之后可能会有阅读理解，以及其他专题的阅读。

因为文章较多，每个专题系列，都会分多篇推送来给大家呈现，敬请期待！

前言

前段时间，在github里发现一个很不错的repo，是母校自然语言处理实验室维护的关于自然语言处理中预训练语言模型的必读论文推荐，在此奉上链接，并由衷感谢他们的整理。https://github.com/thunlp/PLMpapers

 

在学术界，预训练语言模型的研究，已经变成一个非常火热的课题，最近几年迸发出许多可以说改变整个NLP世界格局的文章，包括BERT, GPT2等等。近段时间来，我们在工作和研究中使用BERT等来进行模型训练或业务开发变得越来越普遍。使用预训练模型大大提升了在相关任务上的效果，同时降低了训练的难度。所以，我想趁这个机会，来通过阅读这些文章，梳理和分享一下我眼中的预训练语言模型的演进，同时总结一些在使用预训练模型时的心得和总结，希望能给NLP的初学者们一点帮助和启示，同时也希望抛砖引玉，能吸引更多的NLP专家们交流，对我们进行指点和指正。

萌芽时代（2015-2016）

这篇文章起名为萌芽时代，一方面指的是我们今天将要介绍的两篇文章是NLP预训练语言模型刚刚如雨后春笋般冒出萌芽的阶段，他们开创了预训练语言模型的先河，并且与当时流行的词嵌入方法相承接。同时我们的公众号也处于萌芽阶段，日后会与大家分享更多NLP方面的思考。

语言模型

言归正传， 我们通常所理解的语言模型简单来说就是建模一句句子存在的可能性，我们提到的预训练语言模型 （PLM，Pre-trained Language Model）指的是利用大量在人们生活中出现过的文本来训练，使模型在这些文本中，学习到每一个词或字出现的概率分布，以此来建模出符合这些文本分布的模型。比如这个模型预测“我要吃苹果”这句话在现实生活中出现的可能性比较高，而“我吃要果苹”就不那么高了。语言模型ÿ