北大团队研发Agent框架，挑战真实编程场景，重塑大模型代码生成能力

最新推荐文章于 2024-09-15 15:29:29 发布

雪碧没气阿

最新推荐文章于 2024-09-15 15:29:29 发布

阅读量262

点赞数 5

文章标签：人工智能大语言模型 ai大模型大模型开发 LLM Agent 大模型应用

本文链接：https://blog.csdn.net/xxue345678/article/details/141182458

版权

自 GPT-3 问世以来，大模型技术蓬勃发展，表现出强大的文本生成能力。在软件工程领域，大模型也同样影响着自动化代码生成这一终极课题。

为了提升大模型在真实编程场景下的能力，北京大学金芝教授和李戈教授团队提出了一种基于 Agent 的项目级别代码生成框架。

该方法允许大模型调用多种精心设计的辅助工具，通过大模型和各种工具的交互，自主完成项目级别代码生成的全流程。

相关论文近期被国际计算语言学年会（ACL，Annual Meeting of the Association for Computational Linguistics）2024 主会接受，是全球最早基于 agent 项目级别代码生成学术成果之一。

在处理代码生成任务时，当下的大模型仍然存在两方面问题。

其一，无法保证生成代码的质量和可靠性。

由于大模型的幻觉等问题，其在生成具体的代码时，可能存在使用错误的应用程序编程接口（API，Application Programming Interface）等现象。

其二，原生的大模型方法难以处理复杂的项目级别代码生成问题。

虽然以 HumanEval 为代表的代码生成效果测评集，能在一定程度上评估大模型的代码生成能力，但是相对 HumanEval 中简单独立的算法问题，真实世界的软件开发通常涉及多样的库和函数调用。这些复杂的内容既无法直接作为大模型的输入，也不利于大模型解决此类难题。

据了解，北京大学软件研究所在深度学习和代码生成领域深耕多年。研究团队发现，传统的代码生成方法在面对真实编程场景时存在一些局限性，而这主要源于以下几个方面。

第一，API 选择的困难。

在真实编程场景中，选择合适的 API，对于实现特定功能来说至关重要。传统代码生成模型往往难以准确理解上下文，从而选择错误的 API 或生成不存在的 API，尤其是在使用第三方库或私有库时。

第二，缺乏上下文理解。

真实编程场景通常涉及复杂的代码库和项目结构，代码片段之间存在依赖关系。传统方法可能无法充分理解这些上下文信息，导致生成的代码不能与现有代码库无缝集成。

第三，独立代码单元的局限。

许多传统代码生成模型专注于生成独立的代码单元，如单个函数或语句。但在现实项目中，代码往往需要跨多个文件和模块交互，这要求代码生成模型能够处理更复杂的结构和依赖。

第四，缺乏动态交互能力。

真实编程过程中，开发者会使用各种工具来辅助编码，如搜索引擎、文档阅读器、代码测试工具等。传统代码生成方法通常缺乏与这些工具交互的能力，限制了它们在复杂任务中的性能。

为攻克上述问题，帮助大模型更好地生成代码，近期，北京大学团队提出两款工具增强型代码生成方法——ToolCoder[1]和 CodeAgent[2]，开创了一种新的针对复杂代码生成的研究路径。

实验证明，这些方法通过集成 API 搜索工具、代码测试工具和其他编程辅助工具，增强了代码生成模型在真实编程场景中的应用能力，提供了更加准确、可靠和适应性强的代码生成解决方案。

其中，ToolCoder以CodeGen-350M 和 CodeGen-2B 模型为基础，训练出能够使用 API 搜索工具的 ToolCoder-350M 和 ToolCoder-2B 两个模型，在五个公共和私有库的代码生成基准测试（MonkeyEval、BeatNumEval、NumpyEval、PandasEval、TorchDataEval）中表现出色。

与最先进的方法相比，平均 pass@1 指标提高了至少 6.21%，平均 pass@10 指标提高了 9.64%。

图丨ToolCoder的流程（来源：arXiv）

CodeAgent 的基础模型涵盖 GPT-4、GPT-3.5、GPT-3、Claude-2、LLaMA2-70B-chat、CodeLLaMA、Deepseekcoder 和 Vicuna 等。

在该团队自行构建的 101 个项目级别代码生成数据上，CodeAgent 框架显著提高了大模型的性能，pass@1 通过率指标在不同模型上的提高最多可达到 15.8%。同时，在 HumanEval 数据集上，不同模型 pass@1 指标提高了 6.1% 到 9.7%，足以证明该方法的有效性。

图丨CodeAgent 概览和智能体策略说明（来源：ACL 2024）

前一项成果的相关论文以《ToolCoder：指导代码生成模型使用 API 搜索工具》（ToolCoder：Teach Code Generation Models to Use API Search Tool）为题发在预印本平台 arXiv 上[1]。

图丨相关论文（来源：arXiv）

后一项成果的相关论文则以《CodeAgent：通过集成工具的 Agent 系统提升代码生成，解决现实世界中的项目级别代码生成挑战》（CodeAgent：Enhancing Code Generation with Tool-integrated Agent Systems for Real-World Repo-level Coding Challenges）为题被 ACL 2024 接收[2]。

来自北京大学的博士生张克驰和李佳是第一作者，金芝教授和李戈教授担任共同通讯作者。

图丨相关论文（来源：ACL 2024）

值得一提的是，在审稿过程中，审稿人对 CodeAgent 的创新性、有效性及其在更广泛领域的应用潜力，给予了积极的评价。

基于此，2023 年春节期间，金芝和李戈两位教授在组会上提出，能否利用软件工程领域积累的诸多传统工具，帮助大模型提高代码生成能力。

“从那时起，我们便定下了工具增强的代码生成这一课题内容。”博士生张克驰表示，“之后不久，ChatGPT 的 plugin 功能迅速上线，Toolformer 等一系列优质工作证明了将工具和大模型结合这一思路的有效性。”

在接下来数周时间里，团队广泛讨论了如何将工具结合进大模型的生成过程中，并于 2023 年 4 月完成 ToolCoder 相关工作，随后收获诸多业界同行的关注。

有了这个相对较小的工具增强代码生成模型的成功经验后，该团队希望能将这种思想应用到更大规模的模型上，挑战更复杂的编程任务场景。

具体来说，大模型在 HumanEval 这一类简单的代码生成任务上表现优异。不过，现实世界的软件开发往往涉及复杂的代码库，而它们具有复杂的依赖关系和广泛的文档。

因此，为填补这一空白，他们转向了一个更实际的设定，即真实世界下项目级别的代码生成。

自 2023 年 6 月起，团队开始收集和学习 Github 上优质的代码库，力图全面定义项目级别代码生成这一新的任务情景。后续数月，团队不断地精调、打磨 CodeAgent 框架，最终形成 CodeAgent 一文。

另一方面，团队系统地整理了大模型技术的优势，以及当前基于大模型的代码生成工作中存在的诸多问题，并给出了工具增强的代码生成工作的两种实现思路——基于微调和基于上下文学习，将 ToolCoder 和 CodeAgent 两个工作统一起来。

为加速技术成果向实际生产力的转化，团队已联合 aiXcoder（孵化自北京大学软件工程研究所）将相关研究应用于航天等领域。

在这些真实工业项目中，团队发现工具增强的大模型代码生成方法具有诸多优势，可以支持企业实际复杂业务场景，并能够生成更可靠的代码。

不过，由于不同行业、不同领域存在大量的先验知识，因此也特化出不同的需求场景和编程场景，但那些通用的代码生成模型或框架，却很难很好地处理这些问题场景。

在未来的研究中，北大团队计划借助之前积累的工具增强代码生成经验，找到针对此类情景的有效方案，解决业界这一痛点难题，从而实现通过大模型力量解放生产力的最终目标。

论文第一作者介绍：张克驰，本科毕业于北京大学信息科学技术学院，师从金芝教授和李戈教授。研究方向为智能化软件工程、代码表示与代码生成，以第一作者在自然语言处理、软件工程等领域的国际会议上发表多篇论文，曾获得 2023 年 ACM 杰出论文奖（ACM SIGSOFT Distinguished Paper Award in International Conference on Program Comprehension）。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述