本文是LLM系列文章,针对《The RealHumanEval: Evaluating Large Language Models’ Abilities to Support Programmers》的翻译。
摘要
对代码的大型语言模型(LLM)的评估主要依赖于静态基准,包括HumanEval,该基准衡量LLM生成通过单元测试的完整代码的能力。随着LLM越来越多地被用作程序员助理,我们研究了在使用LLM编码时,现有基准的收益是否会转化为程序员生产力的提高,包括编码所花费的时间。除了静态基准测试外,我们还研究了偏好指标的效用,这些指标可能被用作衡量LLM有用性的代理,如代码接受率或复制率。为此,我们引入了RealHumanEval,这是一个web界面,用于衡量LLM通过自动完成或聊天支持来帮助程序员的能力。我们使用RealHumanEval进行了一项用户研究(N=213),其中用户与六个不同基本模型性能的LLM进行了交互。尽管静态基准测试没有将人类纳入循环,但我们发现基准测试性能的提高会提高程序员的生产力;然而,基准测试与人类表现之间的差距并不成正比,这一趋势在两种形式的LLM支持中都存在。相比之下,我们发现程序员的偏好与他们的实际表现并不相关,这促使他们需要更好的、以人为中心的代理信号。我们还开源了RealHumanEval,以实