如何微调 NLLB-200 模型以翻译新语言(教程含源码)

“NLLB”（代表“不留下任何语言”）是Meta AI 于 2022 年发布的机器翻译模型家族。这些模型可以在202 种语言中的任何一种之间翻译句子，这是一个巨大的研究突破。但世界上大约有7000种语言，因此大多数至今仍被遗忘。

我们如何才能教这个模型多一种语言？在本教程中，我将展示它。作为演示，我们将教模型在俄语和资源匮乏的Tyvan 语言之间进行翻译，这对于该模型来说是新的。俄语属于斯拉夫语系，而泰文语属于突厥语系，受蒙古语影响很大。因此，虽然它们是用类似的西里尔字母书写的，但它们之间的翻译并非易事。尽管如此，得益于 202 种语言的预训练，NLLB 可以做得很好。

本教程的完整代码可以在文章底部。该教程包括 8 个步骤：

查看训练数据
检查新语言的标记化
（可选）更新词汇表
（可选）添加新的语言标记
训练神经模型
评估模型
出版
（可选）使用 Docker 应用程序为模型提供服务

关于泰万的注释

蒂瓦语，也称为图瓦语，是突厥语系的成员，主要在位于俄罗斯西伯利亚中南部的图瓦共和国使用。泰万语的根源与图瓦地区的社会历史结构深深交织在一起，几个世纪以来，它吸收了蒙古语、藏语和俄语中的大量词汇。泰文语被归类为东北突厥语或西伯利亚突厥语，与哈卡斯语和阿尔泰语等其他西伯利亚突厥语有着密切的语言亲缘关系，为比较语言分析提供了丰富的基础。截至最新数据，大约有 280,000 人使用泰万语，使其成为图瓦共和国境内的重要交流媒介。

然而，联合国教科文组织的《世界濒危语言地图集》将这种语言列为易受攻击的语言，这反映出需要开展