ChatGPT在编码方面到底有多好？

GETTY IMAGES

来源：IEEE电气电子工程师学会

供稿：杨泓奕

This article is part of our exclusive IEEE Journal Watch series in partnership with IEEE Xplore.

程序员花了几十年时间为AI模型编写代码（https://spectrum.ieee.org/tag/ai-models），现在兜兜转转，AI又被用于编写代码。但是，人工智能代码生成器与人类程序员相比如何？

发表在IEEE Transactions on Software Engineering 

（https://ieeexplore.ieee.org/xpl/RecentIssue.jsp?punumber=32）6月刊上的一项研究评估了OpenAI的ChatGPT生成的代码的功能性、复杂性和安全性（https://ieeexplore.ieee.org/document/10507163）。结果表明，ChatGPT在生成函数式代码方面取得了极其广泛的成功——成功率从低的0.66% 到高至89%不等——取决于任务的难度、编程语言和一系列其他因素。

虽然在某些情况下，人工智能生成器可以产生比人类更好的代码，但分析也揭示了人工智能生成代码的一些安全问题。

Yutian Tang是格拉斯哥大学的讲师，他参与了这项研究。他指出，基于人工智能的代码生成可以在提高生产力和自动化软件开发任务方面提供一些优势，但了解这些模型的优势和局限性很重要。

“通过进行全面分析，我们可以发现基于ChatGPT的代码生成中出现的潜在问题和局限性......并改进生成技术。”Tang解释道。

为了更详细地探索这些限制，他的团队试图测试GPT-3.5（https://chatgpt.com/g/g-F00faAwkE-open-a-i-gpt-3-5?oai-dm=1）在五种编程语言（C、C++、Java、JavaScript和Python）中解决LeetCode测试平台728个编码问题的能力（https://spectrum.ieee.org/tag/coding）。

“A reasonable hypothesis for why ChatGPT can do better with algorithm problems before 2021 is that these problems are frequently seen in the training dataset.”

—YUTIAN TANG, UNIVERSITY OF GLASGOW

总体而言，ChatGPT相当擅长解决不同编码语言的问题——尤其是尝试解决2021年之前存在于LeetCode上的编码问题。例如，它能够为简单、中等和困难问题生成函数式代码，其成功率分别约为89%、71%和40%。

“然而，当涉及到2021年之后的算法问题时，ChatGPT生成功能正确的代码的能力受到了影响。它有时无法理解问题的含义，即使是简单水平的问题。”Tang指出。

例如，ChatGPT为“简单”编码问题生成功能代码的能力在2021年之后从89%下降到52%。在这段时间之后，它为“困难”问题生成函数式代码的能力也从40%下降到0.66%。

“对于为什么ChatGPT可以在2021年之前更好地解决算法问题，一个合理的假设是，这些问题在训练数据集中经常出现，”Tang说。

从本质上讲，随着编码的发展，ChatGPT还没有接触到新的问题和解决方案。它缺乏人类的批判性思维能力，只能解决以前遇到的问题（https://spectrum.ieee.org/theory-of-mind-ai）。这可以解释为什么它在解决旧编码问题方面比解决新问题要好得多。

“ChatGPT may generate incorrect code because it does not understand the meaning of algorithm problems.”

—YUTIAN TANG, UNIVERSITY OF GLASGOW

有趣的是，对于相同的LeetCode问题，ChatGPT能够以比至少50%的人工解决方案更少的运行时间和内存来生成代码。

研究人员还探讨了ChatGPT在收到LeetCode的反馈后修复自身编码错误的能力。他们随机选择了50个编码场景，在这些场景中，ChatGPT最初生成了错误编码，要么是因为它不理解内容，要么是因为它不理解手头的问题。

尽管ChatGPT擅长修复编译错误，但它通常不擅长纠正自己的错误。

“ChatGPT可能会生成不正确的代码，因为它不理解算法问题的含义，因此，这种简单的错误反馈信息是不够的，”Tang解释道。

研究人员还发现，ChatGPT生成的代码确实存在相当多的漏洞，例如缺少零位检验，但其中许多漏洞很容易修复。他们的结果还表明，用C语言生成的代码是最复杂的，其次是C++和Python，它们与人类编写的代码具有相似的复杂性。

Tang说，基于这些结果，使用ChatGPT的开发人员必须提供额外的信息，以帮助ChatGPT更好地理解问题或避免漏洞。

“例如，当遇到更复杂的编程问题时，开发者可以尽可能地提供相关知识，并在提示中告诉ChatGPT需要注意哪些潜在的漏洞。”Tang说。

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）大脑研究计划，构建互联网（城市）大脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”