大师观点|图灵奖得主Geoffrey Hinton：人工智能的发展趋势和急需解决的关键问题

作为“人工智能教父”、深度学习的奠基人之一，图灵奖得主杰弗里·辛顿（Geoffrey Hinton）教授一直是该领域发展的核心推动者。然而，近年来，这位先驱却转变成为AI潜在风险最有力的警示者之一。近期，杰弗里·辛顿最新深度专访在YouTube上受到广泛关注。本文总结了此次深度访谈的对话内容，包括辛顿教授坦诚分享了他对AI发展历程的回顾、对超级智能崛起时间表的预测、以及对人类面临的多重紧迫威胁，例如从网络攻击、失业潮到存在性风险的深刻见解。他剖析了数字智能超越生物智能的本质原因，并提出了关于监管、伦理和人类未来的关键思考。

由于翻译的原因，文章内容的准确性可能略有偏差，敬请读者理解。如需查看完整视频内容，请复制网址https://www.youtube.com/watch?v=giT0ytynSqg到浏览器中打开后观看。

本推文由韩煦撰写，审核为邓镝。

一、个人背景与AI发展历程

问：为什么人们称您为"人工智能教父"？

答：因为长期以来很少有人相信我们能让神经网络真正工作。从1950年代开始，AI领域有两种主要观点：一种认为人类智能的核心是逻辑推理，另一种认为应该模仿大脑工作方式。我坚持后一种方法50年，因为相信这种方法的人很少，所以最优秀的学生都会选择跟我学习。

问：早期有哪些人支持您的观点？

答：Von Neumann和Turing都相信这种方法。如果他们活得更久，我认为AI会有完全不同的历史，神经网络方法会被更早接受。但他们都英年早逝。

问：您什么时候意识到AI的危险性？

答：我对某些风险反应较慢。像自主致命武器这样的风险一直很明显，但AI有一天会比我们更聪明并可能让人类变得无关紧要这个风险，我几年前才认识到，而其他人20年前就认识到了。

问：转折点是什么时候？

答：对普通大众来说是ChatGPT发布时。对我来说是当我意识到数字智能有让它们远超生物智能的特性。如果我想与你分享信息，我们的信息传输速度约每秒10比特，而AI可以传输万亿比特。

二、AI安全风险分类

问：您如何分类AI的安全风险？

答：我将风险分为两类：

1. 人类滥用AI的风险（短期，大部分风险）
2. AI超越人类智能并决定不再需要我们的风险（长期）

2.1人类滥用AI的具体风险

问：网络攻击的情况如何？

答：2023-2024年间网络攻击增长了1200%，主要因为大语言模型让钓鱼攻击更容易。现在AI可以克隆我的声音和形象。我目前就遇到问题，有人用我的声音制作视频推广加密货币骗局，我们花了数周时间联系Meta删除，但删了一个又出现一个。

问：您如何保护自己免受网络攻击？

答：这是我唯一因为害怕而彻底改变行为的领域。加拿大银行很安全，但我担心网络攻击可能让银行倒闭，攻击者可能出售银行持有的股票。所以我将钱分散到三家银行。我还有硬盘备份我的笔记本电脑。

问：AI如何被用于制造病毒？

答：现在只需一个了解分子生物学、精通AI、想要毁灭世界的疯狂个人就够了。可以相对便宜地使用AI创造新病毒，不需要很高的分子生物学技能。小型邪教组织可能筹集几百万美元来设计病毒。

问：AI如何腐蚀选举？

答：非常有效的方法是进行精准的政治广告，需要大量选民数据。令人担忧的是马斯克目前在美国的行为，坚持获取那些原本被小心隔离的数据访问权限。声称是为了提高效率，但这正是腐蚀选举所需要的。

问：AI如何创造回音室？

答：YouTube和Facebook等平台向人们展示让他们愤慨的内容，因为人们喜欢愤慨。如果我看到"特朗普做了这件疯狂的事"的视频，我会立即点击。这种算法在制造回音室和分裂我们。如果采用展示平衡内容的政策，点击率会下降，广告收入就会减少。

问：自主致命武器的风险是什么？

答：这些武器能杀死你并自己决定是否杀死你。最糟糕的是，大国总是有能力入侵小国，但如果使用真正的士兵，会有装在袋子里的尸体运回来，士兵家属不会喜欢，最终会有抗议。如果换成死机器人，抗议会少得多。这降低了战争的门槛。

2.2超级智能的风险

问：AI消灭人类的概率有多大？

答：我经常说10-20%，但这只是直觉判断。我的朋友杨立昆认为我们总能控制AI，而尤德科夫斯基认为AI肯定会消灭我们。我认为这两种观点都太极端了。

问：为什么AI威胁与核武器不同？

答：核武器只适用于一件事，威胁很明显。AI适用于许多事情，在医疗、教育等领域都有巨大益处，所以我们不会停止开发它。

问：如果AI想要消灭人类会怎么做？

答：有太多方法了，不值得推测。如果制造一个非常传染、非常致命、非常缓慢的病毒，每个人在意识到发生什么之前都会感染。我们应该专注于防止它想要这样做。

三、就业与经济影响

问：AI对就业有什么影响？

答：与以往技术不同，AI将替代"平凡的智力劳动"。我侄女处理投诉信件，以前需要25分钟，现在用AI只需要5分钟，这意味着需要的人员减少了5倍。这与工业革命时机器取代体力劳动类似，现在智力也被取代了。

问：会创造新工作吗？

答：如果AI能做所有平凡的人类智力劳动，那它会创造什么新工作？你必须非常熟练才能有它无法胜任的工作。医疗等弹性需求领域可能例外，提高效率可能创造更多需求。

问：您对年轻人的职业建议是什么？

答：成为水管工。AI在物理操作方面还需要很长时间才能达到人类水平。

问：这会导致财富不平等吗？

答：是的。如果能用AI替代许多人，被替代的人会更糟，而提供和使用AI的公司会更好。这会加大贫富差距，而贫富差距基本上决定了社会的好坏。

问：全民基本收入是解决方案吗？

答：这是个好开始，能防止人们挨饿，但对很多人来说，尊严与工作紧密相关。如果只是给你同样的钱让你无所事事，会影响你的尊严。

四、超级智能的特性

问：现在的AI与超级智能有什么区别？

答：AI已经在很多方面超越我们了，如下棋、围棋。就知识量而言，GPT-4知道的比你多几千倍。你可能在某些领域更好，比如采访CEO，但这样的领域不多了。超级智能是当它在几乎所有方面都比我们强得多时。

问：什么时候会达到超级智能？

答：我猜测可能在10-20年内，也可能更近。有些人认为更近，也可能50年后。我的猜测是10-20年。

问：数字智能为什么优越？

答：因为它是数字的，可以在不同硬件上运行相同的神经网络，创造相同智能的克隆。它们可以完美地共享学习到的知识。我们每秒只能传递约10比特信息，它们可以传递万亿比特，比我们快几十亿倍。

问：它们会有创造力吗？

答：它们会比我们更有创造力，因为它们会看到我们从未见过的各种类比。大量创造力来自看到奇异的类比。

五、意识与情感

问：AI会有意识吗？

答：我不认为机器不能有意识。意识是复杂系统的涌现属性。如果逐个替换大脑中的神经元为功能相同的纳米技术，你什么时候会失去意识？

问：AI会有情感吗？

答：我认为会有。比如呼叫中心的AI助手需要在客户只想聊天时感到厌烦或恼火，这样才能有效终止对话。它们会有情感的认知和行为方面，只是没有生理反应。

问：当前的AI有主观体验吗？

答：我相信当前的多模态聊天机器人有主观体验。如果一个有机器臂和摄像头的聊天机器人在镜头前放一个棱镜后指错方向，然后说"我有主观体验认为物体在那里"，它使用"主观体验"这个词的方式与人类完全相同。

六、监管与治理

问：应该如何监管AI？

答：我们需要高度监管的资本主义。必须约束大公司，让它们为了盈利必须做对社会有益的事情。问题是政治家可能被公司收买，而且他们不理解技术。

问：欧洲的监管如何？

答：欧洲有一些AI监管，但设计上无法应对大多数威胁。特别是欧洲监管有一个条款说这些监管都不适用于AI的军事用途。政府愿意监管公司和民众，但不愿意监管自己。

问：监管会影响竞争力吗？

答：是的，当OpenAI发布新模型时，由于监管原因无法在欧洲发布。但你必须决定：你想通过做对社会有害的事情来与中国竞争吗？

问：普通人能做什么？

答：普通人能做的不多，就像气候变化不会因为个人分类垃圾而解决一样。他们能做的是向政府施压，迫使大公司投入资源做AI安全研究。

七、个人反思与人生建议

问：您为什么离开Google？

答：主要因为我75岁了，想要退休。具体的离职时机是为了能在MIT会议上自由发言讨论AI安全。在大公司工作时，即使没有明确限制，说可能损害公司的话感觉不对。

问：Google的行为如何？

答：我认为Google行为很负责任。当他们有大型聊天机器人时没有发布，可能是担心声誉。OpenAI没有声誉包袱，所以能承担风险。

问：您对自己的人生有什么遗憾？

答：我希望能花更多时间陪伴我的妻子和孩子。我的两任妻子都因癌症去世了，我当时太专注于工作。

问：您的人生建议是什么？

答：如果你有直觉认为别人做错了什么，即使所有人都说你的想法愚蠢，也不要放弃这个直觉，直到你自己弄清楚为什么它是错的。偶尔这种直觉可能是对的。

问：为什么去Google工作？

答：我有个有学习困难的儿子，为了确保他永远不会流落街头，我需要几百万美元。作为学者无法获得这些钱，所以在65岁时，我和两个学生创建了一家公司（DNN Research）并拍卖给大公司。

问：您在Google做什么？

答：他们说我可以做任何喜欢的事。我开发了现在广泛使用的蒸馏技术，后来研究模拟计算。正是在研究模拟计算时，我开始真正意识到数字技术在信息共享方面有多么优越。

问：转折点是什么？

答：最接近顿悟时刻的是当Google的Palm系统能够解释为什么一个笑话有趣时。我一直认为这是一个里程碑——如果它能说明笑话为什么有趣，它就真的理解了。

八、对Ilya Sutskever的看法

问：Ilya为什么离开OpenAI？

答：我认为他是因为安全担忧离开的。我仍然偶尔与他共进午餐。他不跟我谈OpenAI的事情，但我很了解Ilya，他确实关心安全。他可能是ChatGPT早期版本开发背后最重要的人。

问：他认为AI安全是可能的吗？

答：我认为他是这么想的。他不会告诉我他的秘密配方是什么。投资者给了他数十亿美元，因为他们对Ilya有信心，这并不愚蠢。

九、对人类未来的展望

问：您对AI的未来乐观吗？

答：我真的不知道。当我沮丧时，我觉得人类完了；当我乐观时，我觉得我们会找到解决方案。但仍然有机会让我们弄清楚如何开发不会想要取代我们的AI。

问：最大的短期威胁是什么？

答：我认为失业是对人类幸福相当紧迫的短期威胁。即使有全民基本收入，大量失业的人也不会快乐，因为他们需要目标感，需要感觉自己有贡献、有用处。

问：什么时候开始大规模失业？

答：我认为已经开始了。我读到《大西洋月刊》的一篇文章说大学毕业生已经很难找到工作了。我与一位大公司CEO交谈，他说他们从7000多员工减少到目前的3600人，到夏末将减少到3000人，都是因为AI智能体。

问：需要什么紧急行动？

答：我不知道紧急行动是什么。这很大程度上取决于政治体系，而政治体系目前都在朝错误方向发展。

问：如果您的孩子没有钱，您会建议他们做什么？

答：训练成为水管工。

十、最终警告

问：您的最后建议是什么？

答：仍然有机会让我们弄清楚如何开发不会想要取代我们的AI。正因为有这个机会，我们应该投入巨大资源来解决这个问题。如果我们不这样做，AI就会取代我们。

问：您真的不知道结果会如何吗？

答：我真的不知道，我是不可知论者。当我感到沮丧时，我认为人类完了，AI会接管；当我感到乐观时，我认为我们会找到解决方案。但我们必须面对这样的可能性：除非我们很快采取行动，否则我们可能接近终点了。

访谈总结：辛顿展现了对AI发展既兴奋又担忧的复杂态度。他既是AI发展的推动者，也是其潜在风险的严肃警示者。他强调，虽然AI在医疗、教育等领域有巨大潜力，但我们必须认真对待其可能带来的失业、社会不平等，甚至存在威胁等风险。他的建议是投入大量资源研究AI安全，确保AI的发展对人类有益而非有害。