论文翻译：arxiv-2024.Cheng Xu.Benchmark Data Contamination of Large Language Models: A Survey

Benchmark Data Contamination of Large Language Models: A Survey
https://arxiv.org/abs/2406.04244

大规模语言模型的基准数据污染：一项综述

摘要

大规模语言模型（LLMs），如GPT-4、Claude-3和Gemini的快速发展，改变了自然语言处理领域。然而，这也引发了一个重要问题，即基准数据污染（BDC）。这种现象发生在语言模型在训练过程中无意间整合了评估基准的数据，导致评估阶段的性能不准确或不可靠。本文回顾了LLM评估中的BDC这一复杂挑战，并探讨了替代评估方法，以减轻传统基准带来的风险。此外，本文还探讨了在减少BDC风险方面的挑战和未来方向，强调了问题的复杂性以及为确保LLM评估在现实应用中的可靠性所需的创新解决方案。

1 引言

近年来，得益于GPT-4 [107]、Claude-3 [4]和Gemini [137]等大规模语言模型（LLMs）的快速进展，自然语言处理（NLP）领域经历了显著变革。这些模型基于诸如Transformer [1