Unified Language Model Pre-training for Natural Language Understanding and Generation 论文阅读

背景

这是一篇2019年的工作，发表在arXiv上，论文的主要工作是提出了一种叫做UniLM的预训练语言模型，该预训练模型主要将会用于三种语言模型任务：Unidirectional、Bidirectional、Seq2seq prediction。
针对不同的预测任务，一些传统的NLP模型同样使用了不同的目标训练方式。在ELMo模型中，采用了多层的双向LSTM结构，对于每一层LSTM，分别有一个forward LM从左向右读入text，以及一个backward LM从右向左读入text。在GPT模型中，采用了一个从左到右的单向语言模型读入每个字来预测text sequence。在Bert模型中，采用了双向的Transformer encoder，通过双向的上下文信息来预测被mask的单词。本文认为基于现有的Bert双向结构下，无法将模型应用到自然语言生成任务（NLG）。

UniLM对Bert模型做了一定的改进，使得它能够同时应用于自然语言理解（NLU）以及自然语言生成（NLG）任务当中。UniLM是一个多层的Transformer架构模型，同时具有三种无监督目标的语言模型。UniLM这样的架构有三个优点：

• 对于三种不同的语言模型目标，模型共享一个Transformers参数，而不需要在不同目标中分别额外训练和配置参数
• 参数的共享使得学习到的文本表征更加泛化，对于不同的目标不同的上下文模型分别优化当前的参数，减少了模型对于单一语言模型任务的过拟合
• 由于采用了Seq2seq，模型可以很自然地运用到自然语言生成（NLG）的任务当中

模型

模型的输入是一段文本$[x_1,x_2,\dots ,x_{|x|}]$，对于单向模型（Unidirectional LM）输入就是一句句子，对于双向模型（Bidirectional LM）或者Seq2seq就是一对句子。句子的起始和结束分别有符号$[SOS]$和$[EOS]$表示。Word embedding部分的处理和Bert模型是一样的。
模型的主体是一个多层的Transformer结构，对于输入的文本$[x_1,x_2,\dots ,x_{|x|}]$，将其首先处理成$H_0=[x_1,x_2,\dots ,x_{|x|}]$，然后使用L-layer Transformer处理得到$H_l=[h_1^l,h_2^l,\dots ,h_{|x|}^l]$，其中每层Transformer为$H_l=$ Transformer${}_l(H_{l-1})$。在每一层的Transformer中使用多个self-attention head来聚合前一层的输出向量，每个self-attention head的计算如下：

我们可以对比Bert的self-attention如下，发现公式（1）对于QKV矩阵的初始化与Bert相似，其attention表达式（3）和Bert的self-attention也是相似的，模型相较Bert做出的主要改进就体现在公式（2）当中。

表达式（2）中的M是指UniLM中的mask matrix，模型通过随机地将句子中的一些词替换成为$[mask]$，然后预测masked的词，目标是减少预测词和原始词之间的交叉熵。

1. 对于Unidirectional LM以及给定的masked输入$[x_1,\dots ,x_i,[mask],x_{i+2},\dots ,x_{|x|}]$，如果采取从左向右读入，则unidirectional LM只会读入$[x_1,\dots ,x_i]$，然后预测masked的单词（从右向左读与之相似，只是从$x_{|x|}$开始读到$[mask]$）。即只有一侧的token是可见的。
2. 对于Bidirectional LM，预测时每个token都是可见的。
3. 对于Seq2seq，对于source所有的token都是可见的，对于target语句只有左侧（即已经预测的token）是可见的。

在UniLM的模型图中，作者其实已经给出了非常形象的解释，模型图中间的三个矩阵分别代表了三种不同的模型目标下的mask matrix，矩阵中白色块代表着当前可见的token，灰色块代表不可见的。

总结

模型是在Bert的基础上做的提升，通过三种不同的语言模型目标使得Bert模型更加泛化，并且可以应用与自然语言生成的模型。模型花费了非常大的代价来训练模型，这也是现如今的NLP模型中常见的，缺少训练资源（大家都缺）的个体更多的都是在这些预训练模型上做一些微调。作者在最后总结可以通过更大的epoch，更大的模型可以提升模型，或者将模型应用到更多的任务中，我相信对于大多数人来说后者更会是侧重点。
本篇论文阅读之前已有很多前辈做过类似的总结，他们做的也非常好，我已经将他们的reference列在之后，我写下本篇文章，更多的是记录自己对于论文的理解，以便之后复习时查阅。

Reference

• Paper: Unified Language Model Pre-training for
  Natural Language Understanding and Generation
• 文献阅读：(UNILM)Unified Language Model Pre-training for Natural Language Understanding and Generation
• 捋一捋Unified Language Model Pre-training for Natural Language Understanding and Generation