FEW-SHOT CROSS-LINGUAL TRANSFER FOR PROMPTING LARGE LANGUAGE MODELS IN LOW-RESOURCE LANGUAGES

本文是LLM系列文章，这是一篇本科论文，针对《FEW-SHOT CROSS-LINGUAL TRANSFER FOR PROMPTING LARGE LANGUAGE MODELS IN LOW-RESOURCE LANGUAGES》的翻译。

摘要

大型预训练语言模型（PLM）处于自然语言处理进步的前沿。PLM的一个广泛使用案例是“提示”——或上下文学习——用户在提示PLM对新示例执行任务之前，向PLM提供任务的描述和任务的一些已完成示例作为上下文。只有最大、最有能力的PLM才能有效地执行上下文学习，并且这些模型通常使用以英语为主的语料库进行训练，而将所有其他语言抛在后面。大多数语言中的数据限制排除了能够提示的特定语言PLM的训练。尽管提示设置的工作激增，但仍不清楚PLM应如何专门用于提示的跨语言调整。我们评估了将LLaMa（一种主要用英语训练的7B参数开源PLM）用于低资源语言（即基尼亚卢旺达语（kin）、豪萨语（hau）和卢甘达语（Luganda））提示的可能方法。我们考虑了三种方法：最少提示（prompt）、语言自适应微调（LAFT）和神经机器翻译（translate），并对抽象摘要、多类别主题分类和命名实体识别进行了评价。尽管LAFT具有最大的计算成本，并且直观地应该产生最佳结果，但我们的实验表明，LAFT只是偶尔调整PLM以进行提示的最佳选择。相反，对于所选的低资源语言，翻译和提示设置是一种计算高效且具有成本效益的小样本提示方法。我们发现结果与任务和语言有关，但发现提示方法在所有任务和语言中平均是最好的。结果表明，当在所有任务和语言中聚合时，提示设置的性能优于翻译和LAFTÿ