【Paper daily】Tuning LLMs with Contrastive Alignment Instructions for Machine Translation in Unseen

论文链接：https://arxiv.org/abs/2401.05811

论文摘要：本文引入了对比对齐指令（AlignInstruct），以应对大规模语言模型（LLMs）上机器翻译（MT）中的两个挑战。第一个是将支持的语言扩展到以前未见过的语种。第二个与低资源语言中数据不足有关。通过MT指令（MTInstruct）对模型进行微调是解决第一个挑战的一种直接方法。然而，MTInstruct受第二个挑战中弱跨语言信号的限制。AlignInstruct通过使用基于统计单词对齐构建的跨语言判别器，强调跨语言监督。作者对BLOOMZ模型（1b1、3b和7b1）在最多24个未见过的语言上进行微调的结果表明：（1）LLMs能够有效地使用MTInstruct翻译未见过的语言；（2）AlignInstruct在涉及英语的48个翻译方向上持续改善翻译质量；（3）基于判别器的指令在跨语言指令中优于生成型指令；（4）AlignInstruct在30个零翻译方向上提高了性能。

关键词：LLMs，机器翻译，对比对齐指令

图解：使用MTInstruct 和 AlignInstruct来训练模型