论文翻译：arxiv-2024.Naman Jain.LiveCodeBench: Holistic and Contamination Free Evaluation of Large

https://arxiv.org/pdf/2403.07974
LiveCodeBench: Holistic and Contamination Free Evaluation of Large Language Models for Code

LiveCodeBench：对大型语言模型进行代码相关应用的全面且无污染评估

摘要

应用于代码相关应用的大型语言模型（LLMs）已经成为一个突出的领域，吸引了学术界和工业界的极大兴趣。然而，随着新的和改进的LLMs的发展，现有的评估基准（例如，HumanEval、MBPP）不再足以评估它们的能力。在这项工作中，我们提出了LiveCodeBench，这是一个全面且无污染的LLMs代码评估方法，它从三个竞技平台（即LeetCode、AtCoder和CodeForces）的比赛活动中随时间收集新问题。值得注意的是，我们的基准测试还关注了更广泛的代码相关能力，如自我修复、代码执行和测试输出预测，不仅仅是代码生成。目前，LiveCodeBench托管了2023年5月至2024年5月期间发布的五百多个编程问题。我们已经在LiveCodeBench上评估了18个基础LLMs和34个指令调整的