Teaching Large Language Models an Unseen Language on the Fly

本文是LLM系列文章，针对《Teaching Large Language Models an Unseen Language on the Fly》的翻译。

摘要

现有的大型语言模型很难支持许多低资源的语言，尤其是资源极低的语言，因为这些语言可用于有效更新参数的训练数据很少。因此，我们研究LLM是否可以仅通过提示快速学习一种新语言。为了研究这个问题，我们收集了一个壮族的研究套件，这是一种目前没有LLM支持的语言。我们介绍了DIPMT++，这是一个通过无文本学习使LLM适应看不见的语言的框架。DIPMT++使用字典和仅5K个平行句子，显著提高了GPT-4的中文到壮语翻译性能，从0到16BLEU，并实现了壮语到中文翻译的32BLEU。此外，我们展示了这一框架在帮助人类翻译完全看不见的语言方面的实用性，这有助于保护语言多样性。

1 引言

2 相关工作

3 数据集：ZHUANGBENCH

4 方法

5 实验

6 讨论

7 协助人类翻译

8 结论

在这篇论文中，我们研究LLM是否可以快速学习一种全新的语言。我们在壮语上的实验表明，LLM可以通过适当的ICL快速掌握看不见的语言。然而，在分析更复杂的形态现象和实现对句法的更全面、更精确的理解方面仍然存在挑战。我们希望ZHUANGBENCH和DIPMT++能够鼓励更多关于代表性不足语言