A Taxonomy for Data Contamination in Large Language Models

本文是LLM系列文章，针对《A Taxonomy for Data Contamination in Large Language Models》的翻译。

摘要

在广泛的 Web 语料库上预训练的大型语言模型在各种下游任务中表现出卓越的性能。然而，人们越来越担心数据污染，其中评估数据集可能包含在预训练语料库中，从而夸大了模型性能。去污，即检测和删除此类数据的过程，是一种潜在的解决方案;然而，这些污染物可能来自测试集的更改版本，在净化过程中逃避检测。不同类型的污染如何影响语言模型在下游任务上的性能尚不完全清楚。我们提出了一个分类法，对 LLM 在预训练阶段遇到的各种类型的污染进行分类，并确定哪些类型构成最高风险。我们分析了污染对两个关键 NLP 任务（总结和问答）的影响，揭示了不同类型的污染如何影响评估过程中的任务性能。

1 引言

2 分类

3 方法

4 案例研究：摘要

5 案例研究：问答

6 分析

7 结论

我们的分析强调了数据格式的重要性，当预训练数据