通用人工智能的本质：一场进行中的辩论

来源：Melanie Mitchell

编译：朱思嘉

排版：朱思嘉

大模型的飞速发展让通用人工智能（AGI）的概念再次成为了近两年来最热门的话题之一。在讨论 AGI 是否以及何时会到来之前，人们关于 AGI 的含义和本质尚未达成共识。为了防止其最终沦为一场概念的炒作，来自圣达菲研究所的 Melanie Mitchell 教授近日在《Science》上发文指出了人工智能科学和其他智能科学之间的可能差距，号召相关学者和从业者以更一般的科学原则为指导出发，重新审视 AGI 的含义与本质。

原文链接

https://www.science.org/doi/10.1126/science.ado7069

Melanie Mitchell

圣达菲研究所教授。研究领域：人工智能、复杂系统、认知科学等

通用人工智能（AGI）的概念在当下关于人工智能（AI）的讨论中已经无处不在：OpenAI 表示其使命是「确保 AGI 造福全人类」；DeepMind 愿景中说道「AGI……有潜力推动历史上最伟大的变革之一」；英国政府的国家人工智能战略¹ 和美国政府的人工智能文件² 中都重点提到了 AGI；微软研究人员在一篇论文中点明「GPT-4 是 AGI 的火花」；谷歌高管甚至宣称「AGI 已经到来³」；而 GPT-4 是否是「AGI 算法」还是马斯克最近针对 OpenAI 提起诉讼的核心⁴。

AGI 的讨论在商业、政府和媒体中普遍存在，人们很有可能假设这个概念的含义已达成共识。然而，事实恰恰相反：AGI 的含义及其本质的问题，在 AI 社区中引起了激烈的争论。这已不仅是一个关于新名词的学术争论。世界上最大的科技公司们和国家政府们正在根据他们对 AGI 的理解做出重要决策。但深入研究 AGI 的猜测就会发现，许多 AI 从业者对智能本质的看法与研究人类和动物认知的学者截然不同——这些差异对于理解机器智能的现状和预测机器智能的未来至关重要。

AI 领域的最初目标是创造具有与人类相当的通用智能的机器。早期的人工智能先驱者对此持乐观态度：1965 年，赫伯特·西蒙（Herbert Simon）在他的《人类自动化的形态与管理》一书中预测「二十年内，机器将能够完成人类能做的任何工作」；1970 年， 《Life》杂志援引马文·明斯基（Marvin Minsky）的话：「三到八年内，我们将拥有一台具有普通人一般智力的机器。我指的是一台能够阅读莎士比亚、给汽车加油、玩办公室政治、讲笑话、打架的机器」。

Marvin Minsky

但是这些乐观的预测并没有成为现实。在接下来的几十年里，唯一成功的 AI 系统是狭隘而非通用的——它们只能执行单一任务或有限范围的任务（例如，手机上的语音识别软件可以转录你的听写，但无法智能地响应它） 。「通用人工智能」一词是在 2000 年代初创造的⁵，旨在重拾 AI 先驱者最初的远大抱负，重新「尝试以独立于领域的方式研究和再现整个智能」。

在不久之前，这种追求还处于 AI 领域一个相当不起眼的角落，而最近，领先的 AI 公司将实现 AGI 作为了他们的首要目标，并指出反对 AI 的人（AI doomers）所宣称的 AGI 生存威胁才是他们的首要恐惧。许多 AI 从业者都对 AGI 的发展时间做出了推测，例如，有人预测「到 2028 年我们拥有 AGI 的可能性为 50%」。其他人则质疑 AGI 的前提，称其模糊且定义不明确。一位著名研究人员（Thomas G. Dietterich）在推特上表示「AGI 整个概念是不科学的，对于使用这个术语人们应该感到尴尬⁶」。

虽然早期 AGI 支持者认为机器很快就会承担所有人类活动，但研究人员经过惨痛的教训才认识到，创建一个可以在国际象棋中取胜或回答搜索查询的 AI 系统比构建一个可以折叠衣服或者修理管道的机器人要容易得多。 AGI 的定义也相应调整，只包括所谓的「认知任务」。DeepMind 联合创始人 Demis Hassabis 将 AGI 定义为「应该能够完成人类几乎可以完成的任何认知任务的系统」；OpenAI 将其描述为「在大多数经济价值较高的工作中表现优于人类的高度自主系统」，其中「大多数」排除了那些需要物理智能（具身）的任务，这种智能可能在一段时间内对机器人来说难以捉摸。

Demis Hassabis

人工智能中的「智能」概念（认知或其他）通常是根据单个智能体针对奖励或目标进行优化来构建的。2007年的一篇著名论文⁷ 将通用智能定义为「智能体在各种环境中实现目标的能力」；另一篇⁸ 指出：「智力及其相关能力可以被理解为促进奖励的最大化」，事实上，这就是当今 AI 的工作原理——例如，计算机程序 AlphaGo 被训练来优化特定的奖励函数（赢得比赛），而 GPT-4 被训练来优化另一种奖励函数（预测下一个单词）。

这种智能观点引发了一些 AI 研究人员的另一种猜测：一旦实现了AGI，它将通过将其优化能力应用到自己的软件中，快速实现超人的智能，递归地提升自身智能，并迅速成为，（在极端的预测下，）比我们聪明数千或数百万倍的存在。

这种对优化的关注导致 AI 社区中的一些人担心没有对齐的（unaligned）AGI 可能会疯狂地偏离其创造者的目标，从而给人类带来生存风险。哲学家尼克·博斯特罗姆 (Nick Bostrom) 在其 2014 年出版的《超级智能》一书中提出了一个著名的思想实验：他想象人类给超级 AI 系统一个优化回形针生产的目标。从字面上理解这个目标，AI 系统利用其高超的能力来控制地球上所有的资源，并将一切都变成回形针。当然，人类并不想毁灭地球和人类来制造更多的回形针，但他们在说明书中忽略了这一点。

AI 研究员约书亚·本吉奥 (Yoshua Bengio) 也提供了自己的思想实验：「我们可能会要求 AI 解决气候变化问题，而 AI 可能会设计出一种导致人类大量死亡的病毒，因为我们的指令对于危害的含义还不够明确，而人类实际上是解决气候危机的主要障碍」。

这种对 AGI（或者叫做超级智能）的推测性观点与研究生物智能（尤其是人类认知）的人们所持有的观点不同。尽管认知科学对「一般智能」没有严格的定义，也没有就人类或任何类型的系统可以拥有一般智能的程度达成共识，但大多数认知科学家都同意，智能不是一个可以在单一尺度上测量并任意调整的数值，而是一种复杂的通用和专门能力的整合，这些能力在很大程度上是适应特定的进化利基（evolutionary niche）的。

许多研究生物智能的人也怀疑智能的所谓「认知」方面是否可以与其他模式分离并在脱离实体的系统中捕获。心理学家已经表明，人类智能的重要方面是以一个人具体的身体和情感体验为基础的。有证据还表明，个人智能很大程度上依赖于一个人对社会和文化环境的参与。对于一个人成功实现目标而言，理解他人、与他人协调并向他人学习的能力可能比个人的「优化能力」重要得多。

此外，与回形针思想实验中的 AI 不同，人类智能并不以固定目标的优化为中心；相反，一个人的目标是通过先天需求与支持其智力的社会和文化环境的复杂整合而形成的。与回形针超级 AI 不同的是，智能的增加正是使我们能够更好地洞察他人的意图以及我们自己行为的可能结果，并相应地修改这些行为的原因。正如哲学家卡佳·格雷斯（Katja Grace）所写⁹：「对于几乎任何人类目标来说，将征服宇宙作为一个子步骤的想法都是完全可笑的。那么，我们为什么认为 AI 的目标会有所不同呢？」

AI 系统改进自己的软件以将其智能提高几个数量级的假设也偏离了生物学的观点，即智能是一个超越孤立大脑的高度复杂的系统。如果人类水平的智能需要不同认知能力的复杂整合以及社会和文化的脚手架，那么系统的「智能」级别很可能无法无缝访问「软件」级别，就像我们人类无法轻易地改造我们的大脑（或基因）来让自己变得更聪明。然而，我们作为一个集体，通过计算机等外部技术工具以及学校、图书馆和互联网等文化机构的建设，提高了我们的有效智能。

AGI 的含义和本质的讨论还在进行。此外，对 AGI 机器能够做什么的猜测很大程度上基于直觉，而不是科学证据。但这样的直觉有多少可信度呢？AI 历史多次反驳了我们对智能的直觉。许多早期的 AI 先驱认为，用逻辑编程的机器将捕获人类智能的全部范围。其他学者预测，要让机器在国际象棋中击败人类，或者在语言之间进行翻译，或者进行对话，需要它具有一般人类水平的智能，但结果被证明是错误的。在 AI 进化的每一步中，人类水平的智能都比研究人员预期的更加复杂。当前关于机器智能的猜测是否会被证明同样是错误的？我们能否发展出更严格、更普遍的智能科学来回答这些问题？

目前尚不清楚人工智能科学是否更像人类智能科学，还是更像比如说，天体生物学，后者对其他星球上可能存在的生命形态进行预测。无论是对外星生命还是超级智能机器，对从未见过且可能根本不存在的事物进行预测，都将需要基于一般原则的理论。最终，AGI 的含义和结果将不会通过媒体辩论、诉讼或我们的直觉和猜测来解决，而是通过对这些原则的长期科学考察来确定。

参考文献

1.  https://assets.publishing.service.gov.uk/media/614db4d1e90e077a2cbdf3c4/National_AI_Strategy_-_PDF_version.pdf

2. https://ai.gov/wp-content/uploads/2023/10/NAIAC-Charter.pdf

3. https://www.noemamag.com/artificial-general-intelligence-is-already-here/

4. https://www.courthousenews.com/wp-content/uploads/2024/02/musk-v-altman-openai-complaint-sf.pdf

5. https://www.iospress.com/catalog/books/artificial-general-intelligence-2008

6. https://twitter.com/tdietterich/status/1760901693305479405

7. https://link.springer.com/article/10.1007/s11023-007-9079-x

8. https://www.sciencedirect.com/science/article/pii/S0004370221000862

9. https://worldspiritsockpuppet.substack.com/p/counterarguments-to-the-basic-ai
   

未来智能实验室的主要工作包括：建立AI智能系统智商评测体系，开展世界人工智能智商评测；开展互联网（城市）大脑研究计划，构建互联网（城市）大脑技术和企业图谱，为提升企业，行业与城市的智能水平服务。每日推荐范围未来科技发展趋势的学习型文章。目前线上平台已收藏上千篇精华前沿科技文章和报告。

  如果您对实验室的研究感兴趣，欢迎加入未来智能实验室线上平台。扫描以下二维码或点击本文左下角“阅读原文”