阿里：多语言LLM训练方案

📖标题：Marco-LLM: Bridging Languages via Massive Multilingual Training for Cross-Lingual Enhancement
🌐来源：arXiv, 2412.04003

🌟摘要

🔸近年来，大型语言模型（LLMs）取得了显著进展；然而，他们的出色表现在很大程度上仍然局限于世界主要语言，主要是英语。许多LLM继续面临多语言任务的挑战，特别是在低资源语言方面。
🔸为了解决这个问题，我们介绍了Marco LLM：跨语言增强LLM的大规模多语言培训。我们收集了大量关于几种低资源语言的多语言数据，并使用Qwen2模型进行了广泛的持续预训练。这项工作产生了一个名为Marco LLM的多语言LLM。
🔸通过对各种多语言基准的全面评估，包括MMMLU、AGIEval、Belebele、Flores-200、XCOPA和许多其他基准，Marco LLM已经证明了比最先进的LLM有了实质性的改进。此外，Marco LLM在任何机器翻译任务中都实现了实质性的增强，展示了我们多语言LLM的有效性。Marco LLM是一个开创性的多语言LLM，旨在不仅在多语言任务中表现出色，包括低资源语言，而且在英语和其他主要语言中保持出色的表现，缩小高资源和低资源语言能力之间的性能差距。通过桥接语言ÿ