软件工程的大语言模型：综述

23年10月来自公司Meta Platforms（三个不同办公室）和两所大学：韩国KAIST和英国伦敦King’s College的论文“Large Language Models for Software Engineering: Survey and Open Problems“。

本文对软件工程（SE）的大语言模型（LLM）这一新兴领域进行综述。它还提出LLM应用于软件工程师面临的技术研究挑战。LLM的涌现特性为软件工程的应用程序带来了新颖性和创造性，包括编码、设计、需求、修复、重构、性能改进、文档和分析。然而，这些非常相似的涌现特性也带来了重大的技术挑战；如何排除错误，比如幻觉，需要能够这样的技术。该综述揭示了混合技术（传统SE加LLM）在开发和部署可靠、高效、有效、基于LLM的SE中不得不发挥的关键作用。

如图是论文结构：

虽然LLM已被广泛应用于涉及自然语言的任务，但在编程语言的软件开发应用最近也受到了显著的关注。

2021年，OpenAI引入了CodeX，这是GPT-3的一个经过微调的后代。CodeX由GitHub的Copilot使用，为Visual Studio Code、Visual Studio、Neovim和JetBrains的用户提供代码补全功能。新版本的Copilot，GitHub Copilot X2，是基于GPT-4的。2023年2月，GitHub报告称，平均46%的开发者代码是由Copilot编写的[24]。仅就Java而言，这一数字为62%。Git