旷野之间37 - AI生成的代码有一个极其愚蠢的缺陷

人工智能有望彻底改变我们生活的方方面面。但是，编程似乎特别容易被人工智能接管。

那里有大量的文章介绍像 ChatGPT 这样的模型如何根据基本提示创建大量错综复杂的代码。

因此，一些人工智能倡导者声称编程很快就会成为一种过时的职业，该行业将完全被人工智能取代。然而，即使是最持怀疑态度的人工智能预测也表明，随着这些人工智能模型使该职业效率大大提高，未来几年全球程序员的数量将大幅减少。但是，所有这些预测都是错误的。他们没有考虑到人工智能固有的一个重大缺陷，而这个缺陷根本无法克服。让我来解释一下。

那么，AI 生成的代码有什么问题呢？

互联网最受欢迎的开发者之一、海盗软件公司 (Pirates Software) 的杰森·托尔·霍尔 (Jason Thor Hall) 在最近的一个短片中对此进行了很好的描述。他说：“我们曾与使用人工智能生成代码的人交谈过，他们说，嘿，我大约需要一个小时才能生成这段代码，调试需要 15 分钟。然后他们又说，哦，人工智能可以在 1 分钟内生成它，然后我需要 3 个小时来调试它。他们说，是的，但它生成的速度非常快。”

换句话说，尽管人工智能编写代码的速度比人类程序员快得多，但它做得很差，以至于使代码变得有用实际上比让一个合格的人来完成这项工作效率要低得多。

但 Thor 的观点并非毫无根据。事实上，最近的一项研究支持他的观点。

普林斯顿大学和芝加哥大学的研究人员最近发现，生成式人工智能（例如 ChatGPT）甚至专门用于编码的生成式人工智能在功能上都是无用的。他们从真实的 GitHub 问题中抽取了 2,300 个常见的软件工程问题，其中大部分是调试问题或功能请求，并评估了这些人工智能解决编码问题或生成新功能代码的能力。他们的发现很有说服力。平均而言，只有 4% 的时间人工智能真正生成了有效的解决方案，其中绝大多数都是简单的工程问题。

再深入一点，情况就会变得更糟。表现最好的人工智能模型是 Claude 2，它在 4.8% 的时间内提供了良好的解决方案。但是，ChatGPT-4 是迄今为止世界上最复杂、最流行的生成式人工智能，也是用于生成最多代码的人工智能，它只在 1.7% 的时间内提供了良好的解决方案。

难怪 Thor 发现使用人工智能编写代码效率极低。想象一下，你必须调试和重写你编写的 95% 以上的代码。

那么，AI为什么会这样呢？

其实，人工智能并不真正理解自己在做什么。这些生成式人工智能模型基本上是过度开发的预测文本程序。它们使用基于大量数据的统计数据来确定下一个字符或单词是什么。

因此，没有人工智能真正“知道”如何编码。它不是在认知上试图解决问题，而是找到与它所训练的数据统计数据相匹配的输出。

因此，它会不断犯下大错，因为人工智能实际上并没有试图解决你认为的问题。

因此，即使你要求人工智能解决的编码问题在其训练数据中得到了很好的体现，它仍然无法生成可用的解决方案，因为它实际上并不理解编码语言的规律和规则。

当你要求它解决一个它从未见过的人工智能问题时，这个问题会变得更加严重，因为它使用的统计模型根本无法推断出来，导致人工智能产生完全无意义的结果。

这不仅是 AI 生成的代码的问题，也是每个 AI 产品（例如自动驾驶汽车）的问题。而且，这不是一个可以轻松解决的问题。你不能只是将更多的训练数据塞进这些 AI，而且在 AI 训练方面，我们开始达到收益递减点。那么，解决方案是什么？

那么，当我们将人工智能视为统计模型时，我们可以取得巨大的成功。例如，人工智能结构设计（如 Czinger 超级跑车中的结构设计）非常高效和有效。但是，当我们将人工智能视为人类工人的替代品时，它就失效了。尽管人工智能的名字如此，但它并不智能，我们不应该将其视为智能。