Benchmarking Benchmark Leakage in Large Language Models

本文是LLM系列文章，针对《Benchmarking Benchmark Leakage in Large Language Models》的翻译。

摘要

随着预训练数据的广泛使用，基准数据集泄漏现象日益突出，不透明的训练过程和当代大型语言模型（LLM）中经常未公开的监督数据的包含加剧了这一现象。这个问题扭曲了基准的有效性，并助长了潜在的不公平比较，阻碍了该领域的健康发展。为了解决这个问题，我们引入了一种检测管道，利用困惑度和N-gram准确性——这两个简单且可扩展的指标来衡量模型在基准上的预测精度——来识别潜在的数据泄漏。通过在数学推理的背景下分析31个LLM，我们揭示了大量训练甚至测试集误用的情况，导致了潜在的不公平比较。这些发现促使我们就模型文档、基准设置和未来评估提出了几点建议。值得注意的是，我们提出了“基准透明度卡”（表19），以鼓励明确记录基准利用情况，促进LLM的透明度和健康发展。我们已经公开了我们的排行榜、管道实施和模型预测，以促进未来的研究。

1 引言

2 前言

3 检测方法

4 元实验：检测管道的可靠性

5 野外评估