论文翻译：ACL Finding-2024.Data Contamination Calibration for Black-box LLMs

Data Contamination Calibration for Black-box LLMs
https://arxiv.org/abs/2405.11930

论文提出了一种名为Polarized Augment Calibration (PAC)的新方法，用于检测LLMs中的数据污染问题，这也是一种通过交换样本中元素（如单词或句子）的位置来生成相邻样本，并计算原始样本与这些相邻样本之间的极化距离，从而判断样本是否为训练数据集中的成员。这种方法不需要改变题目或选项的顺序，而是通过局部的元素交换来检测数据污染，具有更广泛的适用性和较低的计算成本。

黑盒大型语言模型的数据污染校准

摘要

大型语言模型（LLMs）的快速发展与训练数据规模的扩大密切相关。然而，未经检查的超大规模训练集引入了一系列潜在风险，如数据污染，即基准测试数据被用于训练。在这项工作中，我们提出了一种名为极化增强校准（PAC）的整体方法，以及一个名为StackMIA的全新数据集，以帮助检测污染数据并减少污染影响。PAC扩展了机器学习社区流行的MIA（成员推断攻击）——通过形