论文翻译：ACL-2024.Wentao Ye.Data Contamination Calibration for Black-box LLMs

Data Contamination Calibration for Black-box LLMs
https://arxiv.org/abs/2405.11930

论文提出了一种名为Polarized Augment Calibration (PAC)的新方法，用于检测LLMs中的数据污染问题。

黑盒大型语言模型的数据污染校准

摘要

大型语言模型（LLMs）的快速发展与训练数据规模的扩大密切相关。然而，未经检查的超大规模训练集引入了一系列潜在风险，如数据污染，即基准测试数据被用于训练。在这项工作中，我们提出了一种名为极化增强校准（PAC）的整体方法，以及一个名为StackMIA的全新数据集，以帮助检测污染数据并减少污染影响。PAC扩展了机器学习社区流行的MIA（成员推断攻击）——通过形成一个更全局的目标来检测训练数据，以澄清看不见的训练数据。作为开创性的工作，PAC非常即插即用，可以与大多数（如果不是全部）当前的白盒和黑盒（首次）LLMs集成。通过广泛的实验，PAC在超过4种数据集格式上的数据污染检测上，至少比现有方法提高了4.5%&#