Max Tegmark：人类控制机器的技术不够强大，需暂停开发不可控的 AI 系统

点击蓝字 ｜关注我们

2023 年 3 月 22 日，未来生命研究所 (Future of Life Institute) 在官网发布了一封名为《暂停大型人工智能实验》的公开信，呼吁所有人工智能实验室立刻暂停一切比 GPT-4 强大的人工智能系统的训练至少 6 个月。这封公开信引起了全球的广泛关注，苹果联合创始人 Steve Wozniak、特斯拉、SpaceX 及推特的首席执行官 Elon Musk 等科技领域重要人物在公开信下签名表示支持。截止撰稿日，这封公开信已征集到 33,002 份签名支持。

查看公开信：

https://futureoflife.org/open-letter/pause-giant-ai-experiments/

Max Tegmark 作为未来生命研究所的创始人，《生命 3.0》一书的作者，同时也是这封公开信的发起人，目前为美国麻省理工学院 (MIT) 终身教授，致力于人工智能、未来生命的研究，在这一领域颇有建树。

在刚刚过去的「2023 IJCAI-WAIC 大模型与技术奇点：人文与科学面对面高峰论坛」上，Max Tegmark 教授通过连线的形式，针对「为何应该暂停 AI 的研究，如何掌控 AI」与大家展开了分享和讨论。

本环节由安远 AI 创始人谢旻希先生担任主持人，华东师范大学政治与国际关系学院院长吴冠军教授、新南威尔士大学的 Toby Walsh 教授参与了提问环节。

以下为直播连线实录，HyperAI超神经做了不改变原意的分享。

Max Tegmark：大家好，很高兴能够同身在上海的各位连线。我同中国十分有缘，我有许多优异的学生就是中国人。今天我要向大家分享的主题是「如何掌控 AI 」。

经常有人问我， 面对 AI，人类应该是兴奋还是恐惧。我认为两者应兼而有之。我们因能够掌控 AI 而感到兴奋，它会带来无限的机遇。最近我的一篇论文，讨论如何借助 AI 更加迅速地实现可持续发展的目标。我们发现，AI 有助于我们实现大多数目标。如果我们使用得当的方法，在掌控之下，会得到一个更好的 AI，实现远超最初的期待的目标，并在全世界创造出更美好的未来。而这一切的前提是不让 AI 失去控制，保持人类对于 AI 的掌控。

近来对于 AI 威胁的讨论甚嚣尘上，我们的确已经身处计算机拥有意识且可自我迭代的时代，发展将会越来越迅速，我们需认真思考如何对其控制。但是我还无法断言人类有这个能力，但是我们应当尝试。

AI 发展最坏的结果就是使人类全部灭亡，我不认为这是在危言耸听。在我看来大约 50% 的概率 AI 会在不久的将来导致人类灭绝，这也是为什么我会对这个课题感兴趣。近来，许多人对此发出了警告，我们应当警惕由 AI 带来的人类灭绝。5 月 20 日的这份声明，签署人不仅有许多领先行业的 AI 公司的 CEO，还包括很多顶尖的 AI 学者，他们在担心什么？为什么他们在当下会产生这样的担忧？然而，这种担忧自古有之。

如果人类创造出比自己更智能的机器，人类将会面临巨大风险。这个观点可追溯到人工智能之父图灵。他在 1951 年曾说过，如果某一天机器开始思考，人类就应该做好被其控制的准备。显而易见，智能将会带来力量和控制权。类似的警告也有很多。由此可见，这是一个老问题，可追溯到 AI 诞生。可现在我们为何要探讨这个问题？

因为现在 AI 正在突飞猛进的发展，许多人认为几十年才能实现的事情，现在已经发生了。那些曾被以为是未来的事情，现已成为了遥远的过去。AI 能写出整洁的代码，能进行艺术创作，AI 也变得擅长写作和视频创作，在短短的时间内发生了翻天覆地的变化。如果继续发展，它能在所有领域都比人类做的更好。这就是通用人工智能 (AGI) 的定义。如果这种情况发生，就代表着它具备了开发更好 AI 的能力，这将使得这使得出现超级智能的概率进一步提高了。我们可以让 AI，加速开发更好的 AI。如此迭代循环，很快 AI 就会不再受制于人类智能，只受制于物理定律。

几年前大多数人都不认为这种情况会在短时间内发生，很多 AI 研究员一度认为这可能需要 30-50 年才会发生。但现在微软已经发布了一篇论文，说这已经在发生了。我们在 GPT-4 中看到了通用人工智能的火花。我们基本上已经达到了一个点，AI 系统能模仿人类行为，这意味着 AI 可以通过图灵测试。早在 60、70、80 年代，人们认为一旦 AI 通过了图灵测试，就表示它已经基本具备了超越人类的能力。

越来越多的人开始担心 AI 的发展失去控制，并由此导致人类灭绝。其实，这有助于改善中美关系。目前，大部分参与者都把 AI 视为权利来源。谁先掌握它，谁就有可能获得胜利。但是现在大家都开始谨慎对待 AI 发展。首先掌握 AI 的人，若没有完全掌控 AI 并解决它带来的风险，结果很可能就是人类灭绝，没有赢家。这从而完全改变了当下时局，我真心希望这能为改善中美关系翻开崭新的一页，带来更开放协作的局面。因为只有合作，才不会有人失去对 AI 的控制，才能打造人类共同的美好的未来。

了解人类如何控制比自己更聪明的机器，需要进行大量的技术研究。这就是我在 MIT 研究小组从事的工作。最近我针对这个课题，组织了一次大型会议，讨论机制解释性，以及如何更好地理解大语言模型。终极目标就是让人类掌控 AI，与其放弃并把 AI 比做一个未知的黑盒，我们可以尝试利用其他 AI 技术来判断 AI 的可信度。如何利用 AI 技术提高 AI 可信度，甚至从中抽取信息，借助流程化方法保证 AI 能按照人类需求执行操作，如此一来我们就拥有了可信的人工智能技术。这 3 个问题都还没有解决，但我认为只要再有一些时间，加强全球的合作，解决这些问题指日可待。从技术上来看完全是可实现的，问题在于时间。

结束前，我还想聊聊，现在让人类控制机器的技术实现还远远不够。我们还需要解决多尺度对齐 (Multiscale Alignment) 问题。正如 Yoshua Bengio 所说的，AI 对社会发展有积极的一面，这让人振奋，同时这也使我忧心。因为强大的工具也可能被不恰当地使用，而社会还没有准备好应对这一挑战。这也是为什么我们说要放慢 AI 开发的速度，让我们更全面地设置好防护措施。

Yoshua Bengio 想表达的，是我们需要暂停最危险、最容易失控、人类知之甚少、比 GPT-4 更强大的 AI 系统的开发。以便给技术研究留出时间，确保人类可以掌控 AI。同时让政策制定也有可能跟上 AI 的发展节奏，确保全球各国政府都能实施必要的规定，企业和个人只利用 AI 做有益之事。

如果个人可以利用 AI 开发生化武器，那么仅让 AI 服从某个人是不够的；如果某一企业做了不利于社会发展的事，那么仅让 AI 服从于某一企业也是不够的。这也是为什么我们不仅需要技术安全工作，还需要法律法规。不是只有我持有此观点，27,565 人签署我跟 Yoshua Bengio 等其他作者共同撰写的这封公开信，呼吁暂停高风险模型的开发。在这方面，中国也可以作出更大贡献。相比美国，中国已经对 AI 实行了更严格的管理。中国在解决这个问题上，具有显著优势。

不仅因为中国是科学和技术强国，可以助力 AI 安全相关的研究。还因为中国是世界四大文明古国之一，跟很多西方国家相比，具备长期规划的传统，这正是非常必要的观念，真心欢迎中国的技术人员在解决该类问题上贡献智慧，例如人类如何控制比自己更聪明的机器以及参与制定切实可行的政策方案，使得个人、企业与国家团结一致，共同谱写美好的未来、享受 AI 带来的成果。

感谢大家聆听。

 对话环节：

吴冠军：非常感谢 Tegmark 教授，我很喜欢你的分享，同时也很赞同你的担忧。你提到人类要掌控 AI，我对此仍有一个很大的疑问。谁来掌控 AI？如果这里省略的主语是「我们」，在「人类」的掌控下，这里实际上有一个「us」我注意到你其中的一张幻灯片上写道 Let's not lose control，这里也有一个「us」。所以我的问题是，从什么时候开始，人类才会以「我们」的身份行动？我们知道，人类之间存在彼此信任的问题。例如，我们应该相信 Elon Musk 吗？他真的不会秘密训练任何比 GPT 4 更强大的模型吗？尽管他签署了你发起的这封公开信，我愿意相信他。但是根据几个月前媒体的一篇报道，他购买了 10,000 片 GPU。所以回到我的问题，应该让谁掌控 AI？是否要优先解决人类彼此间的信任问题？

Max Tegmark：这是个很好的问题。实际上，这是两个独立的关于控制的问题。第一个是技术层面的问题，任何个人或企业，如何让机器去做他们想做的事情?这只是一个技术层面的问题。如果我们无法解决这个技术问题，我们更加无法奢望去解决你这个关于掌控权的问题。这就像如果你有一个核反应堆，但总是在启动时爆炸，那么它对任何人来说都是没有意义的。所以我们必须先解决技术层面的问题。

同时，也必须针对控制权的问题制定相应的政策。这对于「谁来掌控」而言是非常关键的一部分。当然，关于应该怎么做大家并没有达成一致。不同的企业、商业领袖以及国家，也常常持有不同观点。但我认为重要的是，与其纠结这些对人类漠不关心的机器的思想多么诡异，我们应该先关注共同的目标。事实上全球范围内的所有国家都达成了共识，例如美国和中国，都同意这些目标。基本上联合国的所有成员国也都同意这些发展目标，摆脱贫困、摆脱饥饿等等。用技术去达成这些目标，因为比起分歧，我们有更多可以让大家团结起来的共识。

Toby Walsh：Max 幸会。我们对 AI 有很多观点一致的担忧，尤其是在自主武器等方面。我没签署这封公开信有几个原因，如果这封公开信要求暂停 AI 部署，我很可能会签署这封公开信。因为现如今的 AI 是一个可以放大危害的工具，事实上，我们已经真实看到、体验到其中一些危害了。我不太确定人类是否有能力控制正在快速失去的东西，但我们已经拥有了可以放大人类行为并提升危害程度的工具，所以我的问题是，为什么不仅仅暂停部署 AI？

Max Tegmark：好问题，我猜你没有签署这份公开信的一个关键原因，是你的模型 timeline 比其他签署的人更长。这完全属于合理的科学分歧范畴，这封公开信在部署与开发方面并没有很明显的区分。在我看来，我们不应该开发过于强大甚至有可能失去控制的 AI，假如你是一家跟 OpenAI 或 DeepMind 类似的企业，即使我们信任这些公司的 CEO，相信工程师们非常有责任心，不会部署任何有潜在风险的 AI。事实上他们并不能独立做决定，因为他们一旦开发出了极其强大的 AI，就会面临来自股东、董事会以及其他成员的巨大的商业压力，说「这能赚大钱，无论如何我们应该继续推进部署」。有点像曼哈顿计划中的科学家，当他们找到制造原子弹的方法时，他们提交了一份报告，说不要把它投放到人群中，只做展示，然后结束战争，这样就不会有人因此受伤或丧生。但是当时，这些发明原子弹的科学家已经没有控制权了，其他力量介入并决定对其进行部署。所以我认为，在谈到未来可能非常强大的技术时，唯一安全的方式就是不去部署它。

我们只请求暂停 AI 开发 6 个月，而且仅限于那些人类尚未理解的最强大的模型，坦白讲，这不过是一个小小的请求，只为给政策制定者和安全研究员留点时间迎头赶上。我希望这能朝着生物科技行业的方向发展，在说服专家该药品安全有效、利大于弊之前，禁止投产并在中国或澳大利亚等国家销售。

Toby Walsh：Max，6 个月的限制是我没签署这封公开信的另一个原因。这个时间限制很像一个拍脑门设定的数字。这封信发布以来已经快 6 个月了，但是一点变化也没有。世界范围内的对齐研究没有显著进展，这个问题也不可能在 6 个月内解决。如果你真心想解决这封信中提到的顾虑，呼吁暂停 6 个月肯定是不够的。你应该提出一个无限期计划，直到我们找到应对方案。

Max Tegmark：这封公开信的确呼吁暂停至少 6 个月，且只有在制定安全标准后才能取消禁令。这也跟生物科技行业类似，必须通过 FDA 或澳大利亚及中国相应机构的审查程序，才能够对外发布产品，而现在，至少在美国是非常野蛮无序的状态。AI 的使用没有任何法律法规，药物等的法律法规却很完善，即在相关立法落地执行之前，AI 开发不应该重启。我不同意你说没有发生任何改变。事实上，政策领域已经开展了一场热闹空前的讨论，这正是由这封信引发的，我认为这意义非凡。但是 AI 开发并没有暂停，AI 开发确实没有暂停。但政策方面的讨论确实明显增加了，这很受欢迎。

Toby Walsh：当然，这大有裨益，而且大家都会欢迎这种讨论。我没有签署公开信，最根本原因可能在于，你反复提到的一个词「control」，不仅我的时间跨度可能比你稍长一些。根本上来说，当我跟我的生物学家朋友们交谈时，他们认为机器不同于生物体。它们没有内在目标，它们终究只是工具，由人类指挥，可能指挥其做一些错误的事。机器不同于人类或其他动物，它们不具备内在驱动力，我们不需要担心失去对机器的控制权。相反，我非常担心失去对企业和机构的控制，他们可能会恶意使用这些技术。但对于机器本身，我倒不怎么担心。

Max Tegmark：哪怕你只是担心用户会不会用 AI 作恶，这也很值得暂停思考一下了。

例如根据去年的一篇论文，一位 AI 研究人员训练了一个 AI 来开发新药物。基本上是在优化不同分子能多大程度上改善人体健康，然后作为对照实验，他输入了一个负号，想测试如果让这个 AI 转而开发有害化学品会怎样。结果在 24 小时内，它就发现了 VX。这是美国发现的最强神经毒剂，以及一些新毒剂。如果把这样的东西开源，假设 Facebook 正在做这样的事，那么如何阻止某个单纯想用 AI 作恶的人呢？在座的各位以及澳大利亚人听起来可能会觉得很奇怪，但在美国常常发生各种大规模枪击，有人会想杀害尽可能多的人，所以我认为有人会使用 AI 来造成尽可能多的伤害，是很有可能发生的，相信这也是大家希望掌握控制权的事。

Toby Walsh：Max 你提到了一个非常危险的操作，即信息审查。因为归根结底，危险的是 VX 和其他神经毒剂的相关科学知识。尽管我们有一个工具可以更容易地获取，但它终究只是科学知识。如何阻止这种情况发生？阻止此类事情发生，需要阻止公众接触试剂，阻止他们接触能将这些观念转换为作恶的生化工厂。

Max Tegmark：我不同意这种说法，采取以上措施虽然也会有所帮助，但我们不会开源最新的小型核武器设计和合成生物学中一些风险较高的内容。并非因为我们不信任开源。众所周知，我所工作的 MIT 是开源文化的摇篮，但有些东西因为对社会有较高风险，而无法开源。我们不仅担心已经知道方法的人，将 VX 的制作方法公之于众。这个 AI 化学武器研发的可怕之处还在于，它发现了一些以前未知的新型化学武器。显然，如果我们制造出的 AI 系统，能够超越人类化学家或生物学家，那么 AI 也有可能创造出大规模伤害的新知识。哪怕这个 AI 系统极度服从其所有者的命令且没有任何内在目标，人类可以利用 AI 制造更多伤害，这仍然需要有效遏制。以上就是我的观点。

完整版直播连线内容及 Q&A 环节可点击以下链接查看：