NExT: Teaching Large Language Models to Reason about Code Execution

本文是LLM系列文章，针对《NExT: Teaching Large Language Models to Reason about Code Execution》的翻译。

摘要

人类开发人员的一项基本技能是理解和推理程序执行的能力。例如，程序员可以在脑海中模拟自然语言的代码执行，以调试和修复代码（又名橡皮鸭调试）。但是，代码的大型语言模型 （LLM） 通常在程序的表面文本形式上进行训练，因此可能缺乏对程序在运行时执行方式的语义理解。为了解决这个问题，我们提出了 NExT，这是一种教 LLM 检查程序的执行跟踪（已执行行的可变状态）并通过思维链 （CoT） 基本原理推理其运行时行为的方法。具体来说，NExT 使用自我训练来引导一组具有执行感知原理的综合训练集，这些基本原理会导致正确的任务解决方案（例如，固定程序），而无需费力的手动注释。基于 Mbpp和 HumanEval的程序修复任务实验表明，NExT 将 PaLM 2 模型的修复率分别提高了 26.1% 和 14.3% 绝对值，通过自动指标和人工评分者验证，基本原理质量显著提高。我们的模型还可以推广到测试时没有程序跟踪的场景。

1 引言

2 任务：使用跟踪进行程序修复