Cohere：Aya系列LLM的多语言优化思路

📖标题：Aya Expanse: Combining Research Breakthroughs for a New Multilingual Frontier
🌐来源：arXiv, 2412.04261

🌟摘要

🔸我们介绍了Aya Expanse模型家族，这是新一代的8B和32B参数多语言语言模型，旨在解决开发高性能多语言模型以匹配或超越单语模型能力的关键挑战。通过利用Cohere For AI和Cohere几年的研究，包括数据套利、多语言偏好训练和模型合并方面的进步，Aya Expanse在多语言性能方面树立了新的先进水平。
🔸我们对翻译成23种语言的Arena Hard Auto数据集的评估表明，Aya Expanse 8B和32B在各自的参数类别中表现优于领先的开放权重模型，包括Gemma 2、Qwen 2.5和Llama 3.1，获胜率高达76.6%。值得注意的是，Aya Expanse 32B的表现优于Llama 3.1 70B，后者的参数是前者的两倍，获胜率为54.0%。
🔸在这篇简短的技术报告中，我们介绍了Aya Expanse模型系列的扩展评估结果，并发布了它们的开放权重，以及一个新的多语言评估数据集m-ArenaHard。

🛎️文章简介

🔸研究问题：如何开发高性能的多语