百年后超级智能将“毁灭人类”

Hinton教授的演讲梗概。
节选自百年后超级智能将“毁灭人类”——辛顿、马库斯预测人工智能未来
百年后超级智能将“毁灭人类”

加里·马库斯在文中频频提到的Hinton，即杰弗里·辛顿（Geoffrey Hinton）教授，人称“人工智能教父”“神经网络之父”。他给牛津大学做了一个公开演讲，从哲学角度对AI的未来走向，提出了严肃而重要的思考。他声称百年后人工智能将产生巨变，比人类更聪明，从而对人类产生威胁。

在演讲中，他重点阐释了有关人工智能的7个主要观点：

1. 在AI方面，生物方法显然占了优势，战胜了逻辑方法

Hinton在演讲中表示：“2012年，我的两位学生Ilya Sutskever（后来成了OpenAI首席科学家）和Alex Krizhevsky，在我一点帮助下，展示了可以通过反向传播方式制作一个非常好的神经网络，在有一百万张训练图片时，可以识别一千种不同类型的对象。这个神经网络在ImageNet竞赛中获胜，神经网络只有16%的错误率，而最好的传统计算机视觉系统错误率则超过了25%。”

2. 大型神经网络可以无师自通地学会语言

符号学派认为他们在语言处理方面应该很出色，然而，大型神经网络仅仅通过学习大量的文本，就能无师自通掌握了语言的语法和语义。Hinton说，乔姆斯基（Noam Chomsky）曾说语言是天赋而非习得的，这很荒谬，他曾经做出了惊人的贡献，但他的时代已经过去了。

3. 大模型完全有理解力

关于人是怎么理解事物的，有两种理论。符号方法理论认为，一个词的意义在于它与其他词的关系；心理学方法理论认为，一个词的意义是一大堆特征组成的。

大模型很好结合了以上两种理论：它学习每个词的特征，并学习词的特征如何相互作用。在推理时，大模型分析文本，列出文本中每个词的特征，通过注意力算法计算所有特征之间的交互，从而预测下一个词的特征。

**“在大模型中，数百万个特征以及特征之间数十亿次的交互，就是理解。”Hinton对此坚定不移。**他表示，只不过是一种人类以前从没见过的巨大的模型，它如此巨大，大到能够包容人类拥有的所有知识。

4. 大模型是人类认识自己的最好方法

大模型是了解人类如何理解语言的最佳模型，大脑就是在给单词分配特征，并让特征交互。神经网络模型就是为了模拟人类理解而设计的一个模型。大模型正如大脑那样工作，正如大脑那样理解。

5. 大模型的幻觉不是问题，人也会胡说

Hinton表示，心理学家从来不说大模型有幻觉，因为心理学家知道人类也经常编造东西，任何研究过记忆的人都知道，对人类而言，真实记忆与虚假记忆之间并没有明确的界限。

6. 超级智能不需要太久就会出现

“我一直以为我们离超级智能还有很长很长的路要走，我过去常告诉人们可能需要50到100年，甚至可能是30到100年，我们现在不需要担心它。”Hinton坦言，“但是，由于我在之前两年所从事的工作，我突然开始相信我们现在拥有的数字模型已经非常接近于大脑的水平，并且将变得比大脑更好。”

为什么GPT-4比人类知识更丰富？它不是由一个模型实现的，而是由不同硬件上运行的大量相同模型的副本实现的，一千个副本都去互联网上查看不同的内容并学习东西，然后，通过平均梯度或平均权重，每个代理都掌握了其他代理学到的东西，这种沟通比人类要强太多了。GPT-4的权重只有人类大脑权重的2%左右，但却拥有比人类多上千倍的知识。

数字计算的缺点是需要大量能量，但我们可以通过进化硬件，使大模型的能量消耗降低。

Hinton认为：“很明显，在未来的20年内，有50%的概率，数字计算会比我们更聪明，很可能在未来的一百年内，它会比我们聪明得多。”“很少有例子表明更聪明的事物被不太聪明的事物所控制。”

7. 超级智能有若干种方法将我们消灭

工业革命来临，体力劳动的工作岗位消失了。现在在智力领域，有些工作也将会消失，取而代之的是比我们聪明得多的东西。

Hinton认为，人工智能会产生致命的自主武器，它们将非常可怕，而且真的会自主运行。他说，“人工智能有若干种方式将我们消灭”，“任何打算关闭它们的人都会被超级智能说服。”

人工智能会保持善良吗？Hinton表示：“有些人认为我们可以使人工智能变得善良，但如果它们相互竞争，我认为它们会开始像黑猩猩一样行事。我不确定你能否让它们保持善良，如果它们变得非常聪明并且有了自我保护的意识，它们可能会认为自己比我们更重要。”