【AI论文】从2000多个多语言基准测试中汲取的苦涩教训

摘要：随着大型语言模型（LLMs）在语言能力方面的不断进步，稳健的多语言评估已成为促进公平技术进步的关键。 本立场文件审查了2021年至2024年间发布的来自148个国家的2000多个多语言（非英语）基准，以评估多语言基准测试的过去、现在和未来的实践。 我们的研究结果表明，尽管投入了数千万美元的巨额投资，但英语在这些基准测试中的代表性仍然明显过高。 此外，大多数基准测试依赖于原始语言内容而非翻译，其中大多数来自中国、印度、德国、英国和美国等资源丰富的国家。此外，将基准测试性能与人类判断进行比较，突显了明显的差异。 STEM相关的任务与人类评估表现出很强的相关性（0.70到0.85），而传统的NLP任务，如问答（如XQuAD），显示出弱得多的相关性（0.11到0.30）。 此外，将英语基准翻译成其他语言是不够的，因为本地化基准与当地人类判断（0.68）的一致性明显高于其翻译的对应物（0.47）。 这突显了创建文化和语言定制基准的重要性，而不是仅仅依赖翻译。 通过这一全面的分析，我们强调了当前多语言评估实践中的六个主要局限性，提出了相应的有效多语言基准测试的指导原则，并概述了推动该领域进展的五个关键研究方向。 最后，我们呼吁全球合作，制定符合人类需求的基准，优先考虑现实世界的应用。Huggingface链接：Paper page，论文链接：2504.15521

研究背景和目的

研究背景

随着大型语言模型（LLMs）在自然语言处理（NLP）领域的快速发展，其应用已经跨越了多种语言和领域。然而，尽管LLMs在语言理解和生成方面取得了显著进步，但在多语言环境下的性能评估仍然面临诸多挑战。当前，多语言基准测试作为评估LLMs跨语言能力的重要手段，其质量和全面性对于推动多语言NLP技术的公平发展至关重要。然而，现有的多语言基准测试在覆盖范围、任务类型、数据来源以及文化适应性等方面存在诸多不足，导致评估结果可能无法全面反映LLMs在真实世界应用中的表现。

具体来说，尽管已经投入了大量资源来开发多语言基准测试，但英语仍然在这些基准测试中占据主导地位，而其他语言，特别是低资源语言，则往往被忽视。此外，大多数基准测试依赖于原始语言内容而非翻译，这可能导致对语言特定特性和文化背景的理解不足。此外，将英语基准测试简单地翻译成其他语言并不足以满足多语言评估的需求，因为本地化基准测试在反映当地人类判断方面表现出更高的一致性。

因此，本研究旨在通过系统地分析现有的多语言基准测试，揭示其在语言覆盖、任务类型、数据来源以及评估有效性等方面的局限性，并提出有效的多语言基准测试指导原则和未来研究方向，以促进多语言NLP技术的公平和全面发展。

研究目的

1. 系统分析现有多语言基准测试：通过收集和分析2021年至2024年间发布的来自148个国家的2000多个多语言基准测试，全面了解当前多语言评估的实践状况。

2. 揭示多语言评估的局限性：通过深入分析现有基准测试在语言覆盖、任务类型、数据来源以及评估有效性等方面的不足，揭示当前多语言评估实践中的主要局限性。

3. 提出有效多语言基准测试的指导原则：基于对现有基准测试的分析，提出一系列指导原则，以帮助开发更加全面、准确和具有文化适应性的多语言基准测试。

4. 展望多语言评估的未来研究方向：结合当前多语言评估的局限性，提出未来研究的关键方向，以推动多语言NLP技术的持续进步。

5. 呼吁全球合作：强调全球合作在开发符合人类需求的基准测试中的重要性，以促进多语言NLP技术的公平和全面发展。

研究方法

数据收集与筛选

1. 数据收集：使用arXiv API从cs.CL类别中收集2021年至2024年间发布的论文，初步获取了370,000篇论文。

2. 数据筛选：利用Qwen2.5-7B-Instruct模型对论文摘要进行分析，筛选出与多语言基准测试相关的论文。随后进行人工审核，确保每篇论文都符合研究要求，最终得到了2,024篇论文作为研究数据集。

3. 数据标注：三位具有NLP研究经验且熟练掌握多种语言的作者按照预设的标注方案对收集到的论文进行了详细标注，包括语言、任务类型、数据集大小、数据来源等多个方面。

数据分析

1. 语言分布分析：统计了基准测试中各种语言的分布情况，揭示了英语在高资源语言中的主导地位以及低资源语言的代表性不足。

2. 任务类型分析：分析了基准测试中任务类型的演变趋势，包括判别性任务和生成性任务的分布情况，以及不同任务类型的增长趋势。

3. 数据来源分析：探讨了基准测试的数据来源，包括原始语言内容和翻译内容的使用情况，以及不同翻译方法的应用比例。

4. 评估有效性分析：通过将基准测试性能与人类判断进行比较，评估了不同基准测试在反映人类偏好方面的有效性，并分析了STEM相关任务与传统NLP任务之间的差异。

5. 本地化基准测试分析：对比了本地化基准测试与翻译基准测试在反映当地人类判断方面的一致性，强调了本地化基准测试的重要性。

研究结果

语言覆盖和任务类型的局限性

1. 语言覆盖不均衡：尽管研究过程中有意排除了仅包含英语的基准测试，但英语仍然是最频繁出现的语言，占据了主导地位。其他高资源语言如中文、西班牙语、法语和德语也占据了领先地位，而低资源语言则代表性严重不足。

2. 任务类型分布不均：判别性任务在基准测试中占据了主导地位（66.5%），而生成性任务则相对较少（23.5%）。尽管问答任务和机器阅读理解任务在近年来有所增长，但命名实体识别任务则呈现出下降趋势。

数据来源和评估有效性的问题

1. 数据来源单一：大多数基准测试依赖于原始语言内容而非翻译，这可能导致对语言特定特性和文化背景的理解不足。同时，机器翻译在基准测试中的应用比例也在逐渐增加，但其质量可能无法与人工翻译相媲美。

2. 评估有效性差异显著：将基准测试性能与人类判断进行比较发现，STEM相关任务与人类评估表现出很强的相关性（0.70到0.85），而传统的NLP任务如问答则显示出弱得多的相关性（0.11到0.30）。此外，本地化基准测试在反映当地人类判断方面的一致性明显高于翻译基准测试。

六个关键局限性

1. 语言覆盖不均衡：英语和其他高资源语言在基准测试中占据主导地位，而低资源语言则代表性不足。

2. 任务类型分布不均：判别性任务过多，生成性任务不足，导致对LLMs生成能力的评估不够全面。

3. 数据来源单一：过度依赖原始语言内容而非翻译，缺乏对语言特定特性和文化背景的理解。

4. 评估有效性差异：不同基准测试在反映人类偏好方面的有效性差异显著，STEM相关任务表现较好，而传统NLP任务则表现不佳。

5. 本地化基准测试不足：翻译基准测试无法充分反映当地人类判断，需要更多本地化基准测试来弥补这一不足。

6. 缺乏全球合作：当前的多语言基准测试开发缺乏全球合作，导致资源利用效率低下和重复劳动。

研究局限

尽管本研究通过系统地分析现有的多语言基准测试，揭示了其在语言覆盖、任务类型、数据来源以及评估有效性等方面的局限性，并提出了一系列指导原则和未来研究方向，但仍存在一些局限性：

1. 数据收集范围有限：本研究仅收集了arXiv cs.CL类别中的论文，可能遗漏了其他来源的重要基准测试。

2. 标注主观性：数据标注过程中存在一定的主观性，可能导致标注结果的不一致性。

3. 评估方法局限性：通过将基准测试性能与人类判断进行比较来评估其有效性存在一定局限性，因为人类判断本身也可能受到多种因素的影响。

4. 缺乏实证研究：本研究主要基于文献分析和数据统计，缺乏具体的实证研究来验证所提出指导原则和研究方向的有效性。

未来研究方向

1. 扩大数据收集范围：除了arXiv cs.CL类别外，还应考虑收集其他来源的基准测试数据，以更全面地了解当前多语言评估的实践状况。

2. 提高标注一致性：采用更加客观和标准化的标注方法，减少标注过程中的主观性，提高标注结果的一致性。

3. 开展实证研究：通过具体的实证研究来验证所提出指导原则和研究方向的有效性，为未来的多语言基准测试开发提供有力支持。

4. 加强全球化合作：鼓励全球范围内的研究机构和学者加强合作，共同开发符合人类需求的基准测试，提高资源利用效率，避免重复劳动。

5. 关注低资源语言：加大对低资源语言的关注力度，开发更多针对低资源语言的基准测试，以促进多语言NLP技术的公平发展。

6. 开发本地化基准测试：结合当地文化和语言特性，开发更多本地化基准测试，以更准确地反映当地人类判断，提高评估的有效性和实用性。

7. 探索新兴任务类型：随着LLMs技术的不断发展，应积极探索新兴的任务类型，如多模态任务、跨语言任务等，以更全面地评估LLMs的能力。

8. 提高评估效率：开发更加高效的评估方法和技术手段，降低评估成本和时间成本，提高评估的实用性和可行性。