论文翻译：arxiv-2023.Manley Roberts.Data Contamination Through the Lens of Time

https://arxiv.org/pdf/2310.10628

Data Contamination Through the Lens of Time

透过时间镜头看数据污染

摘要

关于大型语言模型（LLMs）令人印象深刻的能力的最近声明通常是通过评估公开可用的基准测试来支持的。由于LLMs在互联网的广泛领域上进行训练，这种做法引发了数据污染的担忧，即在训练数据中明确或隐式包含的示例上进行评估。数据污染出了名的难以衡量和缓解，即使有部分尝试，如对训练数据进行控制实验、使用金丝雀字符串或嵌入相似性，也是如此。在这项工作中，我们通过使用GPT模型训练截止日期的自然实验，首次对LLMs中的数据污染进行了全面的纵向分析，以观察随时间发布的基准测试。具体来说，我们考虑了两个代码/数学问题解决数据集，Codeforces和Project Euler，并发现LLM通过率与GitHub popularity和发布日期之间的统计显著趋势，这提供了污染的有力证据。通过开源我们的数据集、原始结果和评估框架，我们的工作为严格分析现代模型中的数据污染铺平了道路。我们以讨论在LLMs训练网络规模数据的时代公开发布基准测试的最佳实践和未来步骤作为结论。

<