NLP预训练模型

训练得到的词向量表征的词语之间的信息其实有限。词向量一个难以解决的问题就是多义词的问题，例如“bank”在英文中有“河岸”和“银行”两种完全不同意思，但是在词向量中确实相同的向量来表征，这显然不合理。

2017年，为了解决这个问题，ELMO模型在“Deep contextualized word representation”被提出。

ELMO的本质思想是：用事先训练好的语言模型学好一个单词的Word Embedding，此时多义词无法区分，不过这没关系。在实际使用Word Embedding的时候，单词特定的上下文就可以知道，这个时候模型可以根据上下文单词的语义去调整单词的Word Embedding表示，这样经过调整后的Word Embedding更能表达在这个上下文中的具体含义，自然也就能克服多义词的问题。

从ELMO开始，这种先预训练，在实际应用时再fine-Tune的模式就开始流行起来了。我们再看ELMO，通过双向语言模型，能够学到较丰富的语义信息。但其用的是LSTM作为特征抽取器，在特征抽取能力上较弱。

2018年，Generative Pre-Training(GPT)采用单向语言模型，用Transformer作为特征抽取器，取得了非常不错的效果，但由于主创人员营销能力欠佳，并没有像下面这一个主角一样，在NLP领域掀起滔天巨浪。

2018年10月，谷歌推出BERT(Bidirectional Encoder Representation from Transformers)模型，刷新了几乎所有NLP任务的榜单，**一时风头无两。仔细看BERT的实现，其与GPT的主要差别在于，BERT用的“双向语言模型”，它通过MASK掉预料中的部分词再重建的过程来学习预料中词语序列中的语义表示信息，同样采用Transformer作为特征抽取器。**BERT的出现，因其效果太好，几乎让其他所有的NLP工作都黯然失色。

2019年2月openAI用更大的模型，规模更大质量更好的数据推出了GPT2.0，其语言生成能力令人惊叹。

目前来看，出彩的工作都是基于BERT和GPT的改进工作。在2019年6月，XLNet: Generalized Autoregressive Pretraining for Language Understanding诞生，其基于BERT和GPT等两类预训练模型来进行改进，分别吸取了两类模型的长处，获得的很好的效果。

需要注意的是，所有的预训练模型都是无监督的，这意味着，模型的数据来源是廉价而且数量巨大的。因为XLNET在训练时一直是under-fitting的，因此即使是通过增加数据量，都还能提升NLP预训练模型的效果。这无疑是振奋人心的。