自然语言模型发展历程 及 Transformer GPT Bert简介

自然语言模型发展历程

2003 年 Bengio 提出神经网络语言模型 NNLM，统一了 NLP 的特征形式——Embedding；

学习任务是输入某个句中"Bert"单词前面句子的 t-1 个单词，要求网络正确预测单词 Bert，即最大化：

前面任意单词W用One-hot编码（比如：0001000）作为原始单词输入，之后乘以矩阵 Q 后获得向量，每个单词的拼接，上接隐层，然后接 softmax 去预测后面应该后续接哪个单词。这其实就是单词对应的 Word Embedding 值，那个矩阵 Q 包含 V 行，V 代表词典大小，每一行内容代表对应单词的 Word embedding 值。只不过 Q 的内容也是网络参数，需要学习获得，训练刚开始用随机值初始化矩阵 Q，当这个网络训练好之后，矩阵 Q 的内容被正确赋值，每一行代表一个单词对应的 Word embedding 值。[更详细的解释在后文介绍模型时会再讲]

2013 年 Mikolov 提出词向量 Word2vec，延续 NNLM 又引入了大规模预训练（Pretrain）的思路；

Word2Vec 有两种训练方法，1. CBOW，核心思想是从一个句子里面把一个词抠掉，用这个词的上文和下文去预测被抠掉的这个词；2. Skip-gram，和 CBOW 正好反过来，输入某个单词，要求网络预测它的上下文单词。使用 Word2Vec 或者 Glove（后面出的类似工具），通过做语言模型任务，就可以获得每个单词的 Word Embedding

2017 年 Vaswani 提出 Transformer 模型，实现用一个模型处理多种 NLP 任务。

Transformer 是个叠加的“自注意力机制（Self Attention）”构成的深度网络，是目前 NLP 里最强的特征提取器

基于 Transformer 架构，2018 年底开始出现一大批预训练语言模型，刷新众多 NLP 任务，形成新的里程碑事件。3 个预训练代表性模型 BERT、XLNet 和 MPNet。
Bert
BERT 本质上是一个自编码（Auto Encoder）语言模型，使用 3 亿多词语训练，采用 12 层双向 Transformer 架构。注意，BERT 只使用了 Transformer 的编码器部分，可以理解为 BERT 旨在学习庞大文本的内部语义信息。由于架构采用 12 层双向 Transformer 且训练目标包含还原mask 位置的信息，BERT 被称为去噪自编码语言模型（DAE）。而在 BERT 之前，NLP 领域的语言模型几乎是 Auto Regression（自回归）类型，即当前位置的字符预测Ti需要编码之前T(0:i-1) tokens 的语义信息，使得模型训练 / 预测只能单向进行。具体训练目标之一，是被称为掩码语言模型的 MLM。即输入一句话，给其中 15% 的字打上 “mask” 标记，经过 Embedding 输入和 12 层 Transformer 深度理解，来预测 “mask” 标记的地方原本是哪个字。虽然效果好，BERT 的缺点也很明显。从建模本身来看，随机选取 15% 的字符 mask 忽视了被 mask 字符之间可能存在语义关联的现象，从而丢失了部分上下文信息。同时，微调阶段没有 mask 标记，导致预训练与微调的不一致。

XLNet 原理及 PLM 简述
和 BERT 不同，XLNet 本质上是用自回归语言模型来同时编码双向语义信息的思路，可以克服 BERT 存在的依赖缺失和训练 / 微调不一致的问题。同时为了弥补自回归模型训练时无法同时看到上下文的缺陷，XLNet 提出了 PLM 排列语言模型的训练方式。

PLM,排列语言模型 - Permutation Language Model, 对于一个长度为 N 的序列，我们知道其存在N! 种因式分解顺序，通过一次采样一种序列的因式分解组合&#x