A Survey on Large Language Models for Code Generation

本文是LLM系列文章，针对《A Survey on Large Language Models for Code Generation》的翻译。

摘要

大型语言模型 （LLM） 在各种与代码相关的任务（称为代码 LLM）中取得了显著的进步，尤其是在使用 LLM 从自然语言描述生成源代码的代码生成方面。由于其在软件开发（例如 GitHub Copilot）中的实际意义，这个新兴领域引起了学术研究人员和行业专业人士的极大兴趣。尽管从自然语言处理 （NLP） 或软件工程 （SE） 或两者兼而有之的角度来看，人们积极探索 LLM 用于各种代码任务，但明显缺乏专门针对 LLM 用于代码生成的全面和最新的文献综述。在这项调查中，我们旨在通过提供系统的文献综述来弥合这一差距，为研究人员研究用于代码生成的 LLM 的前沿进展提供有价值的参考。我们引入了一个分类法来分类和讨论用于代码生成的 LLM 的最新发展，涵盖数据管理、最新进展、性能评估和实际应用等方面。此外，我们还概述了用于代码生成的 LLM 演变的历史，并使用广泛认可的 HumanEval 和 MBPP 基准测试进行了实证比较，以突出用于代码生成的 LLM 功能的逐步增强。我们确定了学术界和实际发展之间差距的关键挑战和有希望的机遇。此外，我们还建立了一个专门的资源网站 （