本文是LLM系列文章,针对《A Survey on Multilingual Large Language Models: Corpora, Alignment, and Bias》的翻译。
多语言大型语言模型综述:语料库、对齐和偏见
摘要
在大型语言模型(LLMs)的基础上,开发了多语言大型语言模型,以应对多语言自然语言处理任务的挑战,希望实现从高资源语言到低资源语言的知识迁移。然而,仍然存在重大的局限性和挑战,如语言不平衡、多语言对齐和固有偏见。本文旨在对MLLM进行全面分析,深入探讨围绕这些关键问题的讨论。首先,我们首先对MLLM进行概述,涵盖其演变、关键技术和多语言能力。其次,我们探索了用于MLLM训练的广泛使用的多语言语料库和面向下游任务的多语言数据集,这些任务对于提高MLLM的跨语言能力至关重要。第三,我们调查了现有的多语言表征研究,并研究了当前的MLLM是否可以学习通用的语言表征。第四,我们讨论了MLLM的偏见,包括其类别和评估指标,并总结了现有的去偏见技术。最后,我们讨论了存在的挑战,并指出了有前景的研究方向。通过展示这些方面,本文旨在促进对MLLM及其在各个领域的潜力的更深入理解。
1 引言
2 MLLMS概述
3 多语言语料库和数据集
4 多语言表示对齐
5 对多语言语言模型的偏见
6 未来方向
这项调查对多语言大型语言模型的演变进行了全面、系统的概述。MLLM仍处于发展阶段,因此未来的研究仍面临一些挑战,我们总结如下