自然语言预训练模型总结（PPT版）

这是我个人的总结，参考了张俊林这篇很好的文章，请感兴趣看以下链接~

张俊林：放弃幻想，全面拥抱Transformer：自然语言处理三大特征抽取器（CNN/RNN/TF）比较

一、简介

自然语言处理中的预训练技术发展历程——从Word Embedding到Bert

• Neural language models

• Word Embedding

• Pretrained language models

什么是语言模型？

为了能够量化地衡量哪个句子更合理，可以通过如图所示的函数，核心函数P的思想是根据句子里面前面的一系列前导单词预测后面跟哪个单词的概率大小（理论上除了上文之外，也可以引入单词的下文联合起来预测单词出现概率）。

句子里面每个单词都有个根据上文预测自己的过程，把所有这些单词的产生概率乘起来，数值越大代表这句话越合理。

 

二、Neural language models

神经网络语言模型（NNLM）：

最早的神经网络语言模型: 根据前n个单词，通过前馈神经网络预测下一个单词