本文是LLM系列文章,针对《NExT: Teaching Large Language Models to Reason about Code Execution》的翻译。
NExT:教大型语言模型推理代码执行
摘要
人类开发人员的一项基本技能是理解和推理程序执行的能力。例如,程序员可以在脑海中模拟自然语言的代码执行,以调试和修复代码(又名橡皮鸭调试)。但是,代码的大型语言模型 (LLM) 通常在程序的表面文本形式上进行训练,因此可能缺乏对程序在运行时执行方式的语义理解。为了解决这个问题,我们提出了 NExT,这是一种教 LLM 检查程序的执行跟踪(已执行行的可变状态)并通过思维链 (CoT) 基本原理推理其运行时行为的方法。具体来说,NExT 使用自我训练来引导一组具有执行感知原理的综合训练集,这些基本原理会导致正确的任务解决方案(例如,固定程序),而无需费力的手动注释。基于 Mbpp和 HumanEval的程序修复任务实验表明,NExT 将 PaLM 2 模型的修复率分别提高了 26.1% 和 14.3% 绝对值,通过自动指标和人工评分者验证,基本原理质量显著提高。我们的模型还可以推广到测试时没有程序跟踪的场景。