Multilingual Brain Surgeon: Large Language Models Can be Compressed Leaving No Language Behind

本文是LLM系列文章，针对《Multilingual Brain Surgeon: Large Language Models Can be Compressed Leaving No Language Behind》的翻译。

摘要

大型语言模型（LLMs）开创了自然语言处理的新时代，但其庞大的规模需要有效的压缩技术来实现实用性。尽管已经研究了许多模型压缩技术，但它们通常依赖于忽略多语言上下文的校准集，导致低资源语言的准确性显著下降。本文介绍了一种用于多语言LLM压缩的新型校准数据采样方法——多语言脑外科医生（MBS）。MBS通过根据模型训练数据集的语言分布按比例从各种语言中采样校准数据，克服了现有方法以英语为中心的局限性。我们在BLOOM多语言LLM上进行的实验表明，MBS提高了现有以英语为中心的压缩方法的性能，特别是对于低资源语言。我们还揭示了压缩过程中语言交互的动态，揭示了训练集中语言的比例越大，语言与校准语言越相似，压缩后语言保留的性能就越好。总之，MBS提出了一种压缩多语言LLM的创新方法，解决了性能差异，提高了现有压缩技术的语言包容性。这些代码可在以下网址获得：https://github.com/XLANCE/MBS.

1 引言