多语言跨领域迁移学习的新框架：MAD-X

人工智能咨询培训老师叶梓 转载标明出处

多语言模型如mBERT和XLM-R通过零样本或少样本跨语言迁移极大地推动了低资源语言的NLP应用。但这些模型由于容量限制，对低资源语言和未见语言的迁移性能并不理想。为了解决这一问题，来自德国达姆施塔特工业大学、剑桥大学和DeepMind的研究者们提出了一种名为MAD-X的适配器框架，旨在通过学习模块化的语言和任务表示，实现对任意任务和语言的高效迁移。

论文链接：https://arxiv.org/pdf/2005.00052

代码链接：https://adapterhub.ml/

方法

在跨语言迁移学习中，标准的迁移设置通常涉及使用大型多语言模型（如mBERT或XLM-R）先在源语言的标记数据上进行微调，然后直接应用于目标语言的推理。这种方法的缺点是多语言初始化需要平衡多种语言，导致模型在推理时无法针对特定语言表现出色。

为了改善这一问题，提出了一种简单的方法，即在源语言的特定任务微调之前，先通过遮蔽语言模型（MLM）在目标语言的未标记数据上微调预训练的多语言模型。虽然这种方法使得模型无法在多个目标语言上进行评估，因为它会偏向于特定目标语言，但如果我们只关心特定（即固定的）目标语言的性能，这种方法可能更可取。

实验发现，目标语言的适应性迁移学习相较于标准设置能提高跨语言迁移性能，且不会导致预