20200302-20200308 阅读论文笔记

Cross-Lingual Natural Language Generation via Pre-Training

问题：语言模型训练需要大规模训练数据，限制了在资源较少的语言上的应用------>跨语言预训练，通过微调将单语言NLG监督转移到其他经过预先训练的语言。

跨语言生成：（1）要求模型理解多语言输入文本，并生成多语言目标序列。（2）语言对与语言数量的平方成正比。（3）预测空间大。

模型基于Transformer，预训练方法如下：

方法：

在跨语言零样本问题生成/文本摘要任务（用英文训练，在其它语言上测试）上进行了实验，表明XNLG 可以超越基于机器翻译的流水线模型。