Language Model Tokenizers Introduce Unfairness Between Languages

文章核心总结与翻译

一、主要内容

文章聚焦语言模型分词器的多语言公平性问题，指出不同语言在分词阶段存在显著的编码长度差异（部分语言间差距达15倍），这种差异并非模型训练阶段导致，而是源于分词器设计与语料偏差。研究通过FLORES-200平行语料库，对英语中心模型、非英语目标模型、多语言模型及字节级模型的分词公平性进行系统评估，发现无论何种类型的分词器，均无法实现所有语言的分词长度均等。这种不平等进一步导致多语言用户在使用商业语言服务时，面临成本更高、延迟更长、长文本处理能力受限等问题，最终提出应开发多语言公平分词器的解决方案。

二、创新点

1. 首次明确提出“分词均等性”（tokenizer parity）概念，为量化评估不同语言的分词公平性提供统一标准。
2. 系统性揭示了分词阶段的不公平是多语言模型不平等的核心源头，而非模型后续训练过程。
3. 全面覆盖四类主流分词器（英语中心、非英语目标、多语言、字节级），验证了分词不公平的普遍性，且发现即使是多语言专用分词器也存在显著偏差。
4. 提出兼具理论与实践价值的多语言公平分词器构建路径，包括基于子词分词、支持全Unicode编码、平衡平行语料库等关键设计原则。

---

三、核心章节翻译（Markdown格式）

Abstract

近年来的语言模型已展现出令人瞩目的多语言性能，即便未经过专门的多语言训练亦是如此。尽管如此，不同语言下模型输出质