本文是LLM系列文章,针对《MAPLE: Multilingual Evaluation of Parameter Efficient Finetuning of Large Language Models》的翻译。
摘要
参数有效微调(PEFT)已成为一种在不需要大量资源和计算的情况下提高大型语言模型(LLM)性能的可行解决方案。先前关于多语言评估的工作表明,LLM在英语和其他语言方面的表现存在很大差距。此外,较小的开源模型和较大的LLM的性能之间也存在很大差距。微调可以有效地弥合这一差距,使语言模型更加公平。在这项工作中,我们在两个合成的多语言指令调优数据集上对LLAMA-2-7B和MISTRAL-7B模型进行了微调,以确定其对涵盖总共40种语言的六个下游任务的模型性能的影响。此外,我们对各种参数进行了实验,如低秩自适应的秩和量化值,以确定它们对下游性能的影响,并发现更高的秩和更高的量化值有利于低资源语言。我们发现,小型开源模型的PEFT有时会弥补这些模型与大型模型之间的性能差距,然而,英语性能可能会受到影响。我们还发现,微调有时会提高低资源语言的性能,而降低高资源语言的性能。