https://aclanthology.org/2020.acl-main.536.pdf
【Emerging Cross-lingual Structure in Pretrained Language Models】论文笔记 - 知乎
Motivation
论文主要研究了多语言掩码语言模型(multilingual masked language modeling,简称MLM)的训练问题,即在多种语言的文本上训练单一模型,并探讨了这些模型在跨语言迁移任务中表现出色的几个因素。Multilingual Bert和XLM这种多语言预训练模型在跨语言迁移上有惊人的能力,尤其是零样本多语言迁移(zero-shot cross-lingual transfer),即指使用涵盖多种语言的语料(注:非平行语