翻译论文：Examining the robustness of LLM evaluation to the distributional assumptions of benchmarks

https://arxiv.org/pdf/2404.16966v2

检验基准测试对大型语言模型评估的分布假设的鲁棒性

摘要

基准测试已成为评估大型语言模型（LLMs）的核心方法。研究界通常依赖模型在基准测试提示上的平均表现来评估模型的性能。这与假设基准测试中的测试提示是来自感兴趣的现实世界分布的随机样本一致。我们注意到这通常并非事实；相反，我们认为感兴趣的分布根据特定用例而变化。我们发现（1）模型在测试提示上的表现之间的相关性是非随机的，（2）考虑测试提示之间的相关性可以改变主要基准测试上的模型排名，（3）这些相关性的解释因素包括语义相似性和常见的LLM失败点。

1. 引言

自从Transformer架构（Vaswani等人，2017）引入以来，大型语言模型（LLMs）已经发展成为具有卓越能力的复杂系统，能够理解和生成模仿人类语言的文本。这一领域的知名模型包括使用GPT-3.5-TURBO或GPT-4架构的ChatGPT1，LLaMA（Touvron等人，2023），ChatGLM࿰