ERNIE: 2.0带来了什么

前言

最近一段日子，我们很惊喜地看到越来越多的华夏面孔出现在自然语言处理领域的前沿。从最近叱诧风云的 XLNet 到上个星期自然语言处理顶会 ACL 2019 年的最佳长论文 (还有更多入会论文)，主要负责人都是华人/国人。夹杂着这些好消息，带着 16 项中英文 SOTA 成绩，ERNIE 2.0 的发布更是把自然语言处理的舆论氛围推向了巅峰。就百度而言，无论在产品上如何遭人诟病，其依旧是 IT 从业者们的技术天堂，ERNIE 2.0 向我们展现了它的实力。本篇文章中，我们同样以论文作为标题开始我们的解读：

• ERNIE: Enhanced Representation through Knowledge Integration (19 April 2019)
• ERNIE 2.0: A Continual Pre-training Framework for Language Understanding (29 July 2019)

一、ERNIE: Enhanced Representation through Knowledge Integration

论文链接：https://arxiv.org/abs/1904.09223
代码链接：https://github.com/PaddlePaddle/ERNIE/tree/develop/ERNIE

在讲 2.0 版本之前，我们先回顾一下在 ERNIE 1.0 (以下统称 ERNIE) 中，百度做了什么，熟悉 1.0 的朋友可以先跳过这一节。ERNIE 的雏形来自于 2018 年 10 月发布的 BERT。关于 BERT 的简介可参考笔者另一篇博文中的相关内容：链接。ERNIE 沿袭了 BERT 中绝大多数的设计思路，包括 预训练 (Pretraining) 加 微调 (Fine-tuning) 的流程，去噪自编码 (DAE, abbr. denoising autoencoding) 的模型本质，以及 Masked Language Model 和 Next Sentence Prediction 的训练环节。主要的不同，在于 ERNIE 采用了更为复杂的 Masking 策略：Knowledge Masking Strategies，并针对对话型数据引入一套新的训练机制：对话语言模型 (Dialogue Language Model)。

从图中我们可以看到，ERNIE 不再仅仅只是如同 BERT 中那样，简单地对 token 进行随机选取，而后附上 Mask，而是同时对 token 所在的短语中其他词进行 Masking。这样的设计初衷，在于将更高级的语义信息融入到最终的 embedding 中。事后证明这样的设计，尽管在英文的下游任务中没能刷新 SOTA 成绩，但在对付中文 NLP 任务上相当凑效。

Knowledge Masking Strategies

为了将这样的设计思想融入到模型里，ERNIE 选择逐步推进，将预训练分为三个阶段，分别采用三种 Masking 机制：

• Basic-level Masking：如同 BERT，随机选取 15% 的语料单元。
• Phrase-level Masking：改为随机挑选短语进行 Masking；短语的识别在于预先使用语言工具进行标注，英文语料使用词法分析以及语义组块，中文语料应用中文分词技术。
• Entity-level Masking：改为随机挑选命名实体进行 Masking；预先使用命名实体识别技术对命名实体进行标注，例如人名、地名、组织名。

对话语言模型

上文中的 Knowledge Masking Strategies 应用于一般的句子型语料，而 ERNIE 在训练数据中增加了问答形式下的对话型文本。针对这一类特殊的文本输入，ERNIE 特别地采用另一种 Masking 模型，将 Masked Language Model 取而代之：对话语言模型 (DLM, abbr. Dialogue Language Model)。