使用MindStudio进行mbart模型训练

1. 1. mbart 模型介绍

最近的工作证明了多语言预训练的潜力，创建一个模型可以用于不同语言的各种任务。

以前的多语言预训练工作表明，机器翻译系统可以通过在咬文嚼字上进行微调来创建。在这项工作中，作者表明，多语言翻译模型可以通过多语言微调。而不是在一个方向上进行微调，   一个预训练的模型同时在许多方向上进行微调。与从头开始训练的多语言模型相比，从预训练的模型开始与从头开始训练的多语言模型相比，从预训练的模型开始，包含了大量未标记的单语言数据的好处，这对资源少的语言特别重要。这对于没有咬文嚼字的低资源语言尤其重要。bitext 是不可用的。作者证明预训练的模型可以被扩展以纳入更多的语言而不损失性能。作者将 mBART 的语言数量增加了一倍，支持 50 种语言的多语言机器翻译模型。最后。作者创建了 ML50 基准，涵盖低、中、高资源语言。以通过标准化训练和评估数据促进可重复的研究。在 ML50 上，作者证明了多语言微调比最强基线平均提高了比最强基准线平均提高 1 BLEU(多语言微调比最强基线（从零开始的多语言或双语微调）平均提高了 1 个 BLEU，

而比从零开始的双语基线平均提高了 9.3 个 BLEU。而比从头开始的双语基线平均提高 9.3 BLEU。

1. 1. 数据集介绍

SQuAD 是 Stanford Question Answering Dataset 的缩写。这是一个阅读理解数据集，由众包工作者在一组维基百科文章上提出的问题组成，其中每个问题的答案都是相应文章中的一段文   本，某些问题可能无法回答。

SQuAD2.0 组合了 SQuAD1.1 中的 10 万个问题，并增加了超过 5 万个无法回答的问题， 这些问题由众包工作者以对抗（adversarially）的方式设计，看起来与可回答的问题相似。为了在 SQuAD2.0 数据集上表现出色。系统不仅必须在可能的情况下回答问题，还必须确定篇章数据何时不支持回答，并避免回答。

EM（Exact Match ） 和 F1 值是用于 SQuAD 的主要指标。Exact Match 是一种常见的评价标准，它用来评价预测中匹配到正确答案（ground truth answers）的百分比。

详细情况请点击：使用MindStudio进行mbart模型训练 - 知乎