测试发文 对自然语言生成

- **优点**： 对自然语言生成任务(NLG)友好，天然符合生成式任务的生成过程。这也是为什么 GPT 能够编故事的原因。

**AE 语言模型：**

- **缺点**： 由于训练中采用了 [MASK] 标记，导致预训练与微调阶段不一致的问题。此外对于生成式问题， AE 模型也显得捉襟见肘，这也是目前 BERT 为数不多实现大的突破的领域。

- **优点**： 能够很好的编码上下文语义信息， 在自然语言理解(NLU)相关的下游任务上表现突出。

**二、UniLM介绍**

　　预训练语言模型利用大量的无监督数据，结合上下文语境来预测缺失的文字或者单词，进而使模型学习到上下文相关的文本特征表示。当前已经存在多种预训练模型，但它们的预测任务和训练目标不尽相同。

![](https://ask.qcloudimg