The RealHumanEval: Evaluating Large Language Models’ Abilities to Support Programmers

本文是LLM系列文章，针对《The RealHumanEval: Evaluating Large Language Models’ Abilities to Support Programmers》的翻译。

摘要

对代码的大型语言模型（LLM）的评估主要依赖于静态基准，包括HumanEval，该基准衡量LLM生成通过单元测试的完整代码的能力。随着LLM越来越多地被用作程序员助理，我们研究了在使用LLM编码时，现有基准的收益是否会转化为程序员生产力的提高，包括编码所花费的时间。除了静态基准测试外，我们还研究了偏好指标的效用，这些指标可能被用作衡量LLM有用性的代理，如代码接受率或复制率。为此，我们引入了RealHumanEval，这是一个web界面，用于衡量LLM通过自动完成或聊天支持来帮助程序员的能力。我们使用RealHumanEval进行了一项用户研究（N=213），其中用户与六个不同基本模型性能的LLM进行了交互。尽管静态基准测试没有将人类纳入循环，但我们发现基准测试性能的提高会提高程序员的生产力；然而，基准测试与人类表现之间的差距并不成正比，这一趋势在两种形式的LLM支持中都存在。相比之下，我们发现程序员的偏好与他们的实际表现并不相关，这促使他们需要更好的、以人为中心的代理信号。我们还开源了RealHumanEval，以实