超级会员免费看
本文研究了参数有效微调（PEFT）在提升大型语言模型（LLM）性能上的效果，特别是在多语言环境中。通过在LLAMA-2-7B和MISTRAL-7B模型上进行微调，发现PEFT可以缩小小型开源模型与大型LLM的性能差距，但可能影响英语性能。微调还能改善低资源语言的性能，但可能降低高资源语言的表现。此外，实验表明，更高的适配器容量和量化值对低资源语言更有益。未来工作将继续探索如何优化多语言微调策略。
本文是LLM系列文章，针对《MAPLE: Multilingual Evaluation of Parameter Efficient Finetuning of Large Language Models》的翻译。
摘要
参数有效微调（PEFT）已成为一种在不需要大量资源和计算的情况下提高大型语言模型（LLM）性能的可行解决方案。先前关于多语言评估的工作表明，LLM在英语和其他语言方面的表现存在很大差距。此外，较小的开源模型和较大的LLM的性能之间也存在很大差距。微调可以有效地弥合这一差距，使语言模型更加公平。在这项工作中，我们在两个合成的多语言指令调优数据集上对LLAMA-2-7B和MISTRAL-7B模型进行了微调，以确定其对涵盖总共40种语言的六个下游任务的模型性能的影响。此外，我们对各种参数进行了实验，如低秩自适应的秩和量化值，以确定它们对下游性能的影响，并发现更高的秩和更高的量化值有利于低资源语言。我们发现，小型开源模型的PEFT有时会弥补这些模型与大型模型之间的性能差距，然而，英语性能可能会受到影响。我们还发现，微调有时会提高低资源语言的性能，而降低高资源语言的性能。
订阅专栏 解锁全文
1032
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
