论文翻译：arxiv-2024.Jiahao Ying.Automating Dataset Updates Towards Reliable and Timely Evaluation of

Automating Dataset Updates Towards Reliable and Timely Evaluation of Large Language Models

https://arxiv.org/pdf/2402.11894

自动化数据集更新以实现大型语言模型的可靠和及时评估

摘要

大型语言模型（LLMs）在各种自然语言基准测试中取得了令人印象深刻的性能，这促使我们不断为更大的LLMs策划更具挑战性的数据集，这是一个成本高昂且耗时的过程。在本文中，我们提出自动化数据集更新，并提供系统性分析，以评估其在处理基准泄露问题、难度控制和稳定性方面的有效性。因此，一旦当前基准被掌握或泄露，我们可以及时更新它，以进行可靠和及时的评估。有两种更新策略：1）模仿策略，基于原始数据生成类似的样本，保留风格和上下文的本质；2）扩展策略，通过适应布鲁姆教育目标分类法，在不同的认知水平上进一步扩展现有样本。在更新后的MMLU和BIG-Bench上的广泛实验表明了所提出策略的稳定性，并发现模仿策略可以有效缓解基准泄露导致的高估问题。在高效的模仿策略失败的情况下，我们的扩展策略仍然显