论文阅读：NeurIPS-2024.Automating Dataset Updates Towards Reliable and Timely Evaluation of Large

Automating Dataset Updates Towards Reliable and Timely Evaluation of Large Language Models提出了一种自动化更新数据集的框架，通过模仿和扩展现有数据集的策略，解决基准泄露问题并提供可控难度，确保对大语言模型的可靠、及时评估。

https://openreview.net/pdf?id=EvEqYlQv8T

https://openreview.net/pdf?id=EvEqYlQv8T

摘要

大语言模型（LLMs）在各种自然语言任务中表现出色，但这种进步也带来了一个问题：随着模型的能力提高，现有的评估数据集变得太容易，很快就不够用了。构建更难的数据集既耗时又昂贵，而仅靠人工创建是不现实的。为了解决这个问题，论文提出了一个自动化更新数据集的方法，用于及时且可靠地评估大语言模型。主要有两种更新策略：

1. 模仿策略（Mimicking Strategy）：