NLP论文速读（ACL 2024）|一个指令微调的开放多语言模型（Aya Model: An Instruction Finetuned Open-Access Multilingual ……）

论文速读|Aya Model: An Instruction Finetuned Open-Access Multilingual Language Model

论文信息：

简介：

      近年来，大型语言模型（LLMs）的发展主要集中在少数数据丰富的语言上，如英语。这导致了在自然语言处理（NLP）领域，对于非英语语言的支持和性能存在显著差距。全球约有7000种语言，但大多数开源的指令遵循模型主要为英语任务而开发，对于其他语言的指令提示存在巨大缺口。这种数据采样偏差违反了机器学习的一个关键原则：训练分布应反映现实世界中希望建模的底层分布。这导致了NLP模型在资源丰富的语言之外的性能差距扩大，模型在模仿训练分布时表现更好，而对于训练中未包含的语言则存在已知的偏见，以及对所有用户的关键安全和安全缺陷。