利用大语言模型对基准数据集在预处理和微调过程的数据污染检测

概述

虽然大规模语言模型发展迅速，但对其进行评估却变得越来越困难。人们在短时间内建立了许多基准来评估大规模语言模型的性能，但这些分数并不一定反映真实世界的性能。此外，还有人指出，这些基准数据集可能受到预处理和微调过程的污染。

例如，对 Llama-2 的污染分析（Touvron 等人，2023 年）发现，在大规模多任务语言理解（MMLU）测试样本中，有超过 10% 的样本受到污染。另外，GPT-4 技术报告（OpenAI，2023 年）发现，HumanEval 有 25% 的训练数据受到污染。开放源代码数据集也存在类似问题，StarCoder Data（Li 等人，2023 年）中显示有数百个测试案例受到污染。

污染问题虽然重要，但仍然难以准确检测。常见的方法包括 n-gram overlap 和嵌入式相似性搜索。n-gram overlap基于字符串匹配，已广泛应用于 GPT-4（OpenAI，2023 年）、PaLM（Anil 等人，2023 年）、Llama（Touvron 等人，2023 年），但准确性有限。2023）中广泛使用，但准确性有限。另一方面，嵌入式相似性搜索使用嵌入式预训练模型来寻找相似的污染样本，但在召回率和准确率之间取得平衡被认为比较困难。大规模语言模型产生的合成数据的使用也越来越多，这使得检测其污染变得更加困难；Phi-1 报告（Gunasekar 等人，2023 年）称，一些与 HumanEval 测试样本相似的合成数据存在 n-gram重叠，表明它们无法被检测到�

本文提出了 “改写样本”（Rephrased Sample）的概念，用于研究去污方法。这些样本与原始样本具有相同的含义，但很难通过现有的污染测试检测出来。它们是通过使用大规模语言模型将测试样本转述或翻译成其他语言而生成的。研究表明，当使用这类重写样本进行训练时，模型更有可能过度训练，并在测试基准上取得非常高的性能。

在 MMLU、GSM-8k 和 HumanEval 等基准测试中，经过微调的 13B Llama 模型的性能可与 GPT-4 相媲美，而且在 n-gram 重叠中观察到了一些现象，这些现象不会被检测为污染。

本文还详细分析了现有去污方法失败的原因，并提出了一种新的基于大规模语言模型的去污方法。该方法首先使用嵌入式相似性搜索来获取与给定测试样本最相似的前 k 个样本，然后使用强大的大规模语言模型（如 GPT-4）来检查这些样本是否与测试用例非常接近。结果表明，该方法明显优于现有方法。此外，提出的方法还成功地应用于广泛使用的预训练和微调数据集，揭示了以前未知的测试与公共基准的重叠。

在RedPajama-Data-1T 和 StarCoder-Data预训练集中，8%-18% 的 HumanEval 基准被识别为重复。研究还发现，由 GPT-3.5 生成的合成数据集 CodeAlpaca（Chaudhary，2023 年）包含了 12.8% 的 HumanEval 重写样本。这表明在使用大型语言模型生成的合成数据进行训练时存在污染风险。

本文呼吁改进用于评估大规模语言模