站在BERT肩膀上的NLP新秀们：XLMs、MASS和UNILM

作者丨高开远

学校丨上海交通大学硕士生

研究方向丨自然语言处理

写在前面

在前一篇站在 BERT 肩膀上的 NLP 新秀们（PART I）[1] 介绍了两个都叫 ERNIE 的模型，思路也挺相似的，都是给 BERT 模型增加外部知识信息，使其能更好地“感知“真实世界。

今天我们来看看另外几个有意思的 BERT 新秀： 

• XLMs from Facebook 

• MASS from Microsoft 

• UNILM from Microsoft

XLMs

对于 BERT 的改进可以大体分为两个方向：第一个是纵向，即去研究 BERT 模型结构或者算法优化等方面的问题，致力于提出一种比 BERT 效果更好更轻量级的模型；第二个方向是横向，即在 BERT 的基础上稍作修改去探索那些 Vanilla BERT 还没有触及的领域。直观上来看第二个方向明显会比第一个方向简单，关键是出效果更快。本文就属于第二类。

我们知道，BERT 预训练的语料全是单语言的，所以可想而知最终的模型所适用的范围基本也是属于单语范围的 NLP 任务，涉及到跨语言的任务可能表现就不那么好。

基于此，作者们提出了一种有效的跨语言预训练模型，Cross-lingual Language Model Pretraining (XLMs)。XLMs 可以认为是跨语言版的 BERT，使用了两种预训练方式：

• 基于单语种语料的无监督学习 

• 基于跨语言的平行语料的有监督学习 

其在几个多语任务上比如 XNLI 和机器翻译都拉高了 SOTA。那么我们就来看看具体的模型。

Shared sub-word vocabulary