论文翻译：arxiv-2024.Tanmay Rajore.TRUCE: Private Benchmarking to Prevent Contamination and Improve

https://arxiv.org/pdf/2403.00393
TRUCE: Private Benchmarking to Prevent Contamination and Improve Comparative Evaluation of LLMs

停战协议：防止污染并改进对大型语言模型（LLM）的比较评估的私密基准测试

摘要

基准测试因其速度、可复制性和低成本而成为评估大型语言模型（LLM）的实际标准。然而，最近的研究指出，目前可用的大多数开源基准测试数据集已经被污染或泄露到LLM中，这意味着LLM在预训练和/或微调期间可以访问测试数据。这引发了对迄今为止进行的基准测试研究的有效性以及使用基准测试进行评估的未来严重担忧。为了解决这个问题，我们提出了私密基准测试，这是一种解决方案，其中测试数据集是私密的，并且模型在不向模型透露测试数据的情况下进行评估。我们描述了各种情况（取决于对模型所有者或数据集所有者的信任程度），并提出了使用私密基准测试避免数据污染的解决方案。对于需要保持模型权重私密的情况，我们描述了机密计算和密码学中可以帮助私密基准测试的解决方案。我们构建了一个端到端的系统，停