阿里：竞赛级LLM代码生成基准

📖标题：CODEELO: Benchmarking Competition-level Code Generation of LLMs with Human-comparable Elo Ratings
🌐来源：arXiv, 2501.01257

🌟摘要

🔸随着现有大型语言模型（LLM）的代码推理能力不断增强，以及OpenAI o1和o3等推理模型的突破，越来越需要开发更具挑战性和全面的基准，以有效测试其复杂的竞争级编码能力。现有的基准测试，如LiveCodeBench和USACO，由于没有私有测试用例、缺乏对特殊法官的支持以及执行环境不一致而达不到要求。
🔸为了弥合这一差距，我们引入了CODEELO，这是一个标准化的竞争级代码生成基准，首次有效地解决了所有这些挑战。CODEELO基准测试主要基于官方的CodeForces1平台，并试图尽可能地与该平台保持一致。我们在CodeForces上汇编了最近六个月的竞赛问题，其中包含竞赛划分、问题难度评级和问题算法标签等详细信息。我们引入了一种独特的判断方法，将问题直接提交给平台，并开发了一个可靠的Elo评级计算系统，该系统与平台一致，与人类参与者相当，但方差较低。
🔸通过在我们的CODEELO上进行测试，我们首次提供了30个现有流行的开源LLM和3个专有LLM的Elo评级。结果显示࿰