一个故意不通过图灵测试的人工智能

人工智能很可能导致人类的永生或者灭绝，而这一切很可能在我们的有生之年发生。

我们正站在变革的边缘，而这次变革将和人类的出现一般意义重大 – Vernor Vinge

如果你站在这里，你会是什么感觉？

看上去非常刺激吧？但是你要记住，当你真的站在时间的图表中的时候，你是看不到曲线的右边的，因为你是看不到未来的。所以你真实的感觉大概是这样的：

遥远的未来——就在眼前

想象一下坐时间机器回到1750年的地球，那个时代没有电，畅通通讯基本靠吼，交通主要靠动物拉着跑。你在那个时代邀请了一个叫老王的人到2015年来玩，顺便看看他对“未来”有什么感受。我们可能没有办法了解1750年的老王内心的感受——金属铁壳在宽敞的公路上飞驰，和太平洋另一头的人聊天，看几千公里外正在发生进行的体育比赛，观看一场发生于半个世纪前的演唱会，从口袋里掏出一个黑色长方形工具把眼前发生的事情记录下来，生成一个地图然后地图上有个蓝点告诉你现在的位置，一边看着地球另一边的人的脸一边聊天，以及其它各种各样的黑科技。别忘了，你还没跟他解释互联网、国际空间站、大型强子对撞机、核武器以及相对论。

进步越来越大，发生的越来越快，也就是说我们的未来会很有趣对吧？

未来学家Kurzweil认为整个20世纪100年的进步，按照2000年的速度只要20年就能达成——2000年的发展速度是20世纪平均发展速度的5倍。他认为2000年开始只要花14年就能达成整个20世纪一百年的进步，而之后2014年开始只要花7年（2021年），就能达到又一个20世纪一百年的进步。几十年之后，我们每年都能达成好几次相当于整个20世纪的发展，再往后，说不定每个月都能达成一次。按照加速回报定，Kurzweil认为人类在21世纪的进步将是20世纪的1000倍。

如果Kurzweil等人的想法是正确的，那2030年的世界可能就能把我们吓尿了——下一个吓尿单位可能只需要十几年，而2050年的世界会变得面目全非。

你可能觉得2050年的世界会变得面目全非这句话很可笑，但是这不是科幻，而是比你我聪明很多的科学家们相信的，而且从历史来看，也是逻辑上可以预测的。

那么为什么你会觉得“2050年的世界会变得面目全非” 这句话很可笑呢？有三个原因让你质疑对于未来的预测：

1. 我们对于历史的思考是线性的。当我们考虑未来35年的变化时，我们参照的是过去35年发生的事情。当我们考虑21世纪能产生的变化的时候，我们参考的是20世纪发生的变化。这就好像1750年的老王觉得1500年的小李在1750年能被吓尿一样。线性思考是本能的，但是但是考虑未来的时候我们应该指数地思考。一个聪明人不会把过去35年的发展作为未来35年的参考，而是会看到当下的发展速度，这样预测的会更准确一点。当然这样还是不够准确，想要更准确，你要想象发展的速度会越来越快。

2. 近期的历史很可能对人产生误导。首先，即使是坡度很高的指数曲线，只要你截取的部分够短，看起来也是很线性的，就好像你截取圆周的很小一块，看上去就是和直线差不多。其次，指数增长不是平滑统一的，发展常常遵循S曲线。

3. 个人经验使得我们对于未来预期过于死板。我们通过自身的经验来产生世界观，而经验把发展的速度烙印在了我们脑中——“发展就是这么个速度的。”我们还会受限于自己的想象力，因为想象力通过过去的经验来组成对未来的预测——但是我们知道的东西是不足以帮助我们预测未来的。当我们听到一个和我们经验相违背的对于未来的预测时，我们就会觉得这个预测偏了。如果我现在跟你说你可以活到150岁，250岁，甚至会永生，你是不是觉得我在扯淡——“自古以来，所有人都是会死的。”是的，过去从来没有人永生过，但是飞机发明之前也没有人坐过飞机呀。

通往超级智能之路

首先，不要一提到人工智能就想着机器人。机器人只是人工智能的容器，机器人有时候是人形，有时候不是，但是人工智能自身只是机器人体内的电脑。人工智能是大脑的话，机器人就是身体——而且这个身体不一定是必需的。比如说Siri背后的软件和数据是人工智能，Siri说话的声音是这个人工智能的人格化体现，但是Siri本身并没有机器人这个组成部分。

其次，你可能听过“奇点”或者“技术奇点”这种说法。这种说法在数学上用来描述类似渐进的情况，这种情况下通常的规律就不适用了。这种说法同样被用在物理上来描述无限小的高密度黑洞，同样是通常的规律不适用的情况。Kurzweil则把奇点定义为加速回报定律达到了极限，技术进步以近乎无限的速度发展，而奇点之后我们将在一个完全不同的世界生活的。但是当下的很多思考人工智能的人已经不再用奇点这个说法了，而且这种说法很容易把人弄混，所以本文也尽量少用。

最后，人工智能的概念很宽，所以人工智能也分很多种，我们按照人工智能的实力将其分成三大类。

弱人工智能Artificial Narrow Intelligence (ANI)

强人工智能Artificial General Intelligence (AGI)

超人工智能Artificial Superintelligence (ASI):

我们现在的位置——充满了弱人工智能的世界

现在的弱人工智能系统并不吓人。最糟糕的情况，无非是代码没写好，程序出故障，造成了单独的灾难，比如造成停电、核电站故障、金融市场崩盘等等。

虽然现在的弱人工智能没有威胁我们生存的能力，我们还是要怀着警惕的观点看待正在变得更加庞大和复杂的弱人工智能的生态。每一个弱人工智能的创新，都在给通往强人工智能和超人工智能的旅途添砖加瓦。用Aaron Saenz的观点，现在的弱人工智能，就是地球早期软泥中的氨基酸——没有动静的物质，突然之间就组成了生命。

弱人工智能到强人工智能之路

为什么这条路很难走

只有明白创造一个人类智能水平的电脑是多么不容易，才能让你真的理解人类的智能是多么不可思议。造摩天大楼、把人送入太空、明白宇宙大爆炸的细节——这些都比理解人类的大脑，并且创造个类似的东西要简单太多了。至今为止，人类的大脑是我们所知宇宙中最复杂的东西。

用计算机科学家Donald Knuth的说法，“人工智能已经在几乎所有需要思考的领域超过了人类，但是在那些人类和其它动物不需要思考就能完成的事情上，还差得很远。”

同样的，大数相乘、下棋等等，对于生物来说是很新的技能，我们还没有几亿年的世界来进化这些能力，所以电脑很轻易的就击败了我们。试想一下，如果让你写一个程序，是一个能做大数相乘的程序容易写，还是能够识别千千万万种字体和笔迹下书写的英文字母的程序难写？

比如看着下面这个图的时候，你和电脑都能识别出这是一个由两种颜色的小长方形组成的一个大长方形。

你和电脑打了个平手。接着我们把途中的黑色部分去除：

你可以轻易的描述图形中透明或不透明的圆柱和3D图形，但是电脑就看不出来了。电脑会描述出2D的阴影细节，但是人脑却能够把这些阴影所展现的深度、阴影混合、房屋灯光解读出来。

再看下面这张图，电脑看到的是黑白灰，我们看到的却是一块全黑的石头

而且，我们到现在谈的还是静态不变的信息。要想达到人类级别的智能，电脑必须要理解更高深的东西，比如微小的脸部表情变化，开心、放松、满足、满意、高兴这些类似情绪间的区别，以及为什么《布达佩斯大饭店》是好电影，而《富春山居图》是烂电影。

想想就很难吧？

我们要怎样才能达到这样的水平呢？

通往强人工智能的第一步：增加电脑处理速度

要达到强人工智能，肯定要满足的就是电脑硬件的运算能力。如果一个人工智能要像人脑一般聪明，它至少要能达到人脑的运算能力。

用来描述运算能力的单位叫作cps（calculations per second，每秒计算次数），要计算人脑的cps只要了解人脑中所有结构的最高cps，然后加起来就行了。

Kurzweil把对于一个结构的最大cps的专业估算，然后考虑这个结构占整个大脑的重量，做乘法，来得出人脑的cps。听起来不太靠谱，但是Kurzweil用了对于不同大脑区域的专业估算值，得出的最终结果都非常类似，是10^16 cps，也就是1亿亿次计算每秒。

现在最快的超级计算机，中国的天河二号，其实已经超过这个运算力了，天河每秒能进行3.4亿亿。当然，天河二号占地720平方米，耗电2400万瓦，耗费了3.9亿美元建造。广泛应用就不提了，即使是大部分商业或者工业运用也是很贵的。

Kurzweil认为考虑电脑的发展程度的标杆是看1000美元能买到多少cps，当1000美元能买到人脑级别的1亿亿运算能力的时候，强人工智能可能就是生活的一部分了。

摩尔定律认为全世界的电脑运算能力每两年就翻一倍，这一定律有历史数据所支持，这同样表明电脑硬件的发展和人类发展一样是指数级别的。我们用这个定律来衡量1000美元什么时候能买到1亿亿cps。现在1000美元能买到10万亿cps，和摩尔定律的历史预测相符合。

也就是说现在1000美元能买到的电脑已经强过了老鼠，并且达到了人脑千分之一的水平。听起来还是弱爆了，但是，让我们考虑一下，1985年的时候，同样的钱只能买到人脑万亿分之一的cps，1995年变成了十亿分之一，2005年是百万分之一，而2015年已经是千分之一了。按照这个速度，我们到2025年就能花1000美元买到可以和人脑运算速度抗衡的电脑了。

至少在硬件上，我们已经能够强人工智能了（中国的天河二号），而且十年以内，我们就能以低廉的价格买到能够支持强人工智能的电脑硬件。

但是运算能力并不能让电脑变得智能，下一个问题是，我们怎样利用这份运算能力来达成人类水平的智能。

通往强人工智能的第二步：让电脑变得智能

这一步比较难搞。事实上，没人知道该怎么搞——我们还停留在争论怎么让电脑分辨《富春山居图》是部烂片的阶段。但是，现在有一些策略，有可能会有效。下面是最常见的三种策略：

1) 抄袭人脑

就好像你班上有一个学霸。你不知道为什么学霸那么聪明，为什么考试每次都满分。虽然你也很努力的学习，但是你就是考的没有学霸好。最后你决定“老子不干了，我直接抄他的考试答案好了。”这种“抄袭”是有道理的，我们想要建造一个超级复杂的电脑，但是我们有人脑这个范本可以参考呀。

2）模仿生物演化

抄学霸的答案当然是一种方法，但是如果学霸的答案太难抄了呢？那我们能不能学一下学霸备考的方法？

首先我们很确定的知道，建造一个和人脑一样强大的电脑是可能的——我们的大脑就是证据。如果大脑太难完全模拟，那么我们可以模拟演化出大脑的过程。事实上，就算我们真的能完全模拟大脑，结果也就好像照抄鸟类翅膀的拍动来造飞机一样——很多时候最好的设计机器的方式并不是照抄生物设计。

所以我们可不可以用模拟演化的方式来造强人工智能呢？这种方法叫作“基因算法”，它大概是这样的：建立一个反复运作的表现/评价过程，就好像生物通过生存这种方式来表现，并且以能否生养后代为评价一样。一组电脑将执行各种任务，最成功的将会“繁殖”，把各自的程序融合，产生新的电脑，而不成功的将会被剔除。经过多次的反复后。这个自然选择的过程将产生越来越强大的电脑。而这个方法的难点是建立一个自动化的评价和繁殖过程，使得整个流程能够自己运行。

3）让电脑来解决这些问题

如果抄学霸的答案和模拟学霸备考的方法都走不通，那就干脆让考题自己解答自己吧。这种想法很无厘头，确实最有希望的一种。

总的思路是我们建造一个能进行两项任务的电脑——研究人工智能和修改自己的代码。这样它就不只能改进自己的架构了，我们直接把电脑变成了电脑科学家，提高电脑的智能就变成了电脑自己的任务。

以上这些都会很快发生

硬件的快速发展和软件的创新是同时发生的，强人工智能可能比我们预期的更早降临，因为：

1）指数级增长的开端可能像蜗牛漫步，但是后期会跑的非常快

2）软件的发展可能看起来很缓慢，但是一次顿悟，就能永远改变进步的速度。就好像在人类还信奉地心说的时候，科学家们没法计算宇宙的运作方式，但是日心说的发现让一切变得容易很多。创造一个能自我改进的电脑来说，对我们来说还很远，但是可能一个无意的变动，就能让现在的系统变得强大千倍，从而开启朝人类级别智能的冲刺。

强人工智能到超人工智能之路

总有一天，我们会造出和人类智能相当的强人工智能电脑，然后人类和电脑就会平等快乐的生活在一起。

即使是一个和人类智能完全一样，运算速度完全一样的强人工智能，也比人类有很多优势：

硬件上：

-速度。脑神经元的运算速度最多是200赫兹，今天的微处理器就能以2G赫兹，也就是神经元1000万倍的速度运行，而这比我们达成强人工智能需要的硬件还差远了。大脑的内部信息传播速度是每秒120米，电脑的信息传播速度是光速，差了好几个数量级。

- 容量和储存空间。人脑就那么大，后天没法把它变得更大，就算真的把它变得很大，每秒120米的信息传播速度也会成为巨大的瓶颈。电脑的物理大小可以非常随意，使得电脑能运用更多的硬件，更大的内存，长期有效的存储介质，不但容量大而且比人脑更准确。

- 可靠性和持久性。电脑的存储不但更加准确，而且晶体管比神经元更加精确，也更不容易萎缩（真的坏了也很好修）。人脑还很容易疲劳，但是电脑可以24小时不停的以峰值速度运作。

软件上来说：

- 可编辑性，升级性，以及更多的可能性。和人脑不同，电脑软件可以进行更多的升级和修正，并且很容易做测试。电脑的升级可以加强人脑比较弱势的领域——人脑的视觉元件很发达，但是工程元件就挺弱的。而电脑不但能在视觉元件上匹敌人类，在工程元件上也一样可以加强和优化。

- 集体能力。人类在集体智能上可以碾压所有的物种。从早期的语言和大型社区的形成，到文字和印刷的发明，再到互联网的普及。人类的集体智能是我们统治其它物种的重要原因之一。而电脑在这方面比我们要强的很多，一个运行特定程序的人工智能网络能够经常在全球范围内自我同步，这样一台电脑学到的东西会立刻被其它所有电脑学得。而且电脑集群可以共同执行同一个任务，因为异见、动力、自利这些人类特有的东西未必会出现在电脑身上

通过自我改进来达成强人工智能的人工智能，会把“人类水平的智能”当作一个重要的里程碑，但是也就仅此而已了。它不会停留在这个里程碑上的。考虑到强人工智能之于人脑的种种优势，人工智能只会在“人类水平”这个节点做短暂的停留，然后就会开始大踏步向超人类级别的智能走去。

这一切发生的时候我们很可能被吓尿，因为从我们的角度来看 a)虽然动物的智能有区别，但是动物智能的共同特点是比人类低很多；b)我们眼中最聪明的人类要比最愚笨的人类要聪明很很很很多。

所以，当人工智能开始朝人类级别智能靠近时，我们看到的是它逐渐变得更加智能，就好像一个动物一般。然后，它突然达到了最愚笨的人类的程度，我们到时也许会感慨：“看这个人工智能就跟个脑残人类一样聪明，真可爱。”

但问题是，从智能的大局来看，人和人的智能的差别，比如从最愚笨的人类到爱因斯坦的差距，其实是不大的。所以当人工智能达到了脑残级别的智能后，它会很快

智能爆炸

从这边开始，这个话题要变得有点吓人了。我在这里要提醒大家，以下所说的都是大实话——是一大群受人尊敬的思想家和科学家关于未来的诚实的预测。你在下面读到什么离谱的东西的时候，要记得这些东西是比你我都聪明很多的人想出来的。

像上面所说的，我们当下用来达成强人工智能的模型大多数都依靠人工智能的自我改进。但是一旦它达到了强人工智能，即使算上那一小部分不是通过自我改进来达成强人工智能的系统，也会聪明到能够开始自我改进。

这里我们要引出一个沉重的概念——递归的自我改进。这个概念是这样的：一个运行在特定智能水平的人工智能，比如说脑残人类水平，有自我改进的机制。当它完成一次自我改进后，它比原来更加聪明了，我们假设它到了爱因斯坦水平。而这个时候它继续进行自我改进，然而现在它有了爱因斯坦水平的智能，所以这次改进会比上面一次更加容易，效果也更好。第二次的改进使得他比爱因斯坦还要聪明很多，让它接下来的改进进步更加明显。如此反复，这个强人工智能的智能水平越长越快，直到它达到了超人工智能的水平——这就是智能爆炸，也是加速回报定律的终极表现。

现在关于人工智能什么时候能达到人类普遍智能水平还有争议。对于数百位科学家的问卷调查显示他们认为强人工智能出现的中位年份是2040年——距今只有25年。这听起来可能没什么，但是要记住，很多这个领域的思想家认为从强人工智能到超人工智能的转化会快得多。以下的情景很可能会发生：一个人工智能系统花了几十年时间到达了人类脑残智能的水平，而当这个节点发生的时候，电脑对于世界的感知大概和一个四岁小孩一般；而在这节点后一个小时，电脑立马推导出了统一广义相对论和量子力学的物理学理论；而在这之后一个半小时，这个强人工智能变成了超人工智能，智能达到了普通人类的17万倍。

这个级别的超级智能不是我们能够理解的，就好像蜜蜂不会理解凯恩斯经济学一样。在我们的语言中，我们把130的智商叫作聪明，把85的智商叫作笨，但是我们不知道怎么形容12952的智商，人类语言中根本没这个概念。

但是我们知道的是，人类对于地球的统治教给我们一个道理——智能就是力量。也就是说，一个超人工智能，一旦被创造出来，将是地球有史以来最强大的东西，而所有生物，包括人类，都只能屈居其下——而这一切，有可能在未来几十年就发生。

当一个超人工智能出生的时候，对我们来说就像一个全能的上帝降临地球一般。

这时候我们所关心的就是图片第二部分开始：

文章的第一部分讨论了已经在我们日常生活中随处可见的弱人工智能，然后讨论了为什么从弱人工智能到强人工智能是个很大的挑战，然后我们谈到了为什么技术进步的指数级增长表面强人工智能可能并不那么遥远。第一部分的结束，我们谈到了一旦机器达到了人类级别的智能，我们将见到如下的场景：

这让我们无所适从，尤其考虑到超人工智能可能会发生在我们有生之年，我们都不知道该用什么表情来面对。

再我们继续深入这个话题之前，让我们提醒一下自己超级智能意味着什么。

很重要的一点是速度上的超级智能和质量上的超级智能的区别。很多人提到和人类一样聪明的超级智能的电脑，第一反应是它运算速度会非常非常快——就好像一个运算速度是人类百万倍的机器，能够用几分钟时间思考完人类几十年才能思考完的东西

这听起来碉堡了，而且超人工智能确实会比人类思考的快很多，但是真正的差别其实是在智能的质量而不是速度上。用人类来做比喻，人类之所以比猩猩智能很多，真正的差别并不是思考的速度，而是人类的大脑有一些独特而复杂的认知模块，这些模块让我们能够进行复杂的语言呈现、长期规划、或者抽象思考等等，而猩猩的脑子是做不来这些的。就算你把猩猩的脑子加速几千倍，它还是没有办法在人类的层次思考的，它依然不知道怎样用特定的工具来搭建精巧的模型——人类的很多认知能力是猩猩永远比不上的，你给猩猩再多的时间也不行。

而且人和猩猩的智能差别不只是猩猩做不了我们能做的事情，而是猩猩的大脑根本不能理解这些事情的存在——猩猩可以理解人类是什么，也可以理解摩天大楼是什么，但是它不会理解摩天大楼是被人类造出来的，对于猩猩来说，摩天大楼那么巨大的东西肯定是天然的，句号。对于猩猩来说，它们不但自己造不出摩天大楼，它们甚至没法理解摩天大楼这东西能被任何东西造出来。而这一切差别，其实只是智能的质量中很小的差别造成的。

而当我们在讨论超人工智能时候，智能的范围是很广的，和这个范围比起来，人类和猩猩的智能差别是细微的。如果生物的认知能力是一个楼梯的话，不同生物在楼梯上的位置大概是这样的：

要理解一个具有超级智能的机器有多牛逼，让我们假设一个在上图的楼梯上站在深绿色台阶上的一个机器，它站的位置只比人类高两层，就好像人类比猩猩只高两层一样。这个机器只是稍微有点超级智能而已，但是它的认知能力之于人类，就好像人类的认知能力之于猩猩一样。就好像猩猩没有办法理解摩天大楼是能被造出来的一样，人类完全没有办法理解比人类高两层台阶的机器能做的事情。就算这个机器试图向我们解释，效果也会像教猩猩造摩天大楼一般。

而这，只是比我们高了两层台阶的智能罢了，站在这个楼梯顶层的智能之于人类，就好像人类之于蚂蚁一般——它就算花再多时间教人类一些最简单的东西，我们依然是学不会的。

理论

但是我们讨论的超级智能并不是站在这个楼梯顶层，而是站在远远高于这个楼梯的地方。当智能爆炸发生时，它可能要花几年时间才能从猩猩那一层往上迈一步，但是这个步子会越迈越快，到后来可能几个小时就能迈一层，而当它超过人类十层台阶的时候，它可能开始跳着爬楼梯了——一秒钟爬四层台阶也未尝不可。所以让我们记住，当第一个到达人类智能水平的强人工智能出现后，我们将在很短的时间内面对一个站在下图这样很高很高的楼梯上的智能（甚至比这更高百万倍）：

前面已经说了，试图去理解比我们高两层台阶的机器就已经是徒劳的，所以让我们很肯定的说，我们是没有办法知道超人工智能会做什么，也没有办法知道这些事情的后果。任何假装知道的人都没搞明白超级智能是怎么回事。

自然演化花了几亿年时间发展了生物大脑，按这种说法的话，一旦人类创造出一个超人工智能，我们就是在碾压自然演化了。当然，可能这也是自然演化的一部分——可能演化真正的模式就是创造出各种各样的智能，直到有一天有一个智能能够创造出超级智能，而这个节点就好像踩上了地雷的绊线一样，会造成全球范围的大爆炸，从而改变所有生物的命运。

科学界中大部分人认为踩上绊线不是会不会的问题，而是时间早晚的问题。想想真吓人。

那我们该怎么办呢？

可惜，没有人都告诉你踩到绊线后会发生什么。但是人工智能思想家Nick Bostrom认为我们会面临两类可能的结果——永生和灭绝。

首先，回顾历史，我们可以看到大部分的生命经历了这样的历程：物种出现，存在了一段时间，然后不可避免的跌落下生命的平衡木，跌入灭绝的深渊。

历史上来说，“所有生物终将灭绝”就像“所有人都会死”一样靠谱。至今为止，存在过的生物中99.9%都已经跌落了生命的平衡木，如果一个生物继续在平衡木上走，早晚会有一阵风把它吹下去。Bostrom把灭绝列为一种吸引态——所有生物都有坠入的风险，而一旦坠入将没有回头。

虽然大部分科学家都承认一个超人工智能有把人类灭绝的能力，也有一些人为如果运用得当，超人工智能可以帮助人类和其它物种，达到另一个吸引态——永生。Bostrom认为物种的永生和灭绝一样都是吸引态，也就是我一旦我们达成了永生，我们将永远不再面临灭绝的危险——我们战胜了死亡和几率。所以，虽然绝大多数物种都从平衡木上摔了下去灭绝了，Bostrom认为平衡木外是有两面的，只是至今为止地球上的生命还没聪明到发现怎样去到永生这另一个吸引态。

如果Bostrom等思想家的想法是对的，而且根据我的研究他们确实很可能是对的，那么我们需要接受两个事实：

1）超人工智能的出现，将有史以来第一次，将物种的永生这个吸引态变为可能

2）超人工智能的出现，将造成非常巨大的冲击，而且这个冲击可能将人类吹下平衡木，并且落入其中一个吸引态

有可能，当自然演化踩到绊线的时候，它会永久的终结人类和平衡木的关系，创造一个新的世界，不管这时人类还是不是存在。

而现在的问题就是：“我们什么时候会踩到绊线？”以及“从平衡木上跌下去后我们会掉入哪个吸引态？”

没人知道答案，但是一些聪明人已经思考了几十年，接下来我们看看他们想出来了些什么。

先来讨论“我们什么时候会踩到绊线？”也就是什么时候会出现第一个超级智能。

不出意外的，科学家和思想家对于这个意见的观点分歧很大。很多人，比如Vernor Vinge教授，科学家Ben Goertzel，SUN创始人Bill Joy，发明家和未来学家Ray Kurzweil，认同机器学习专家Jeremy Howard的观点，Howard在TED演讲时用到了这张图。

这些人相信超级智能会发生在不久的将来，因为指数级增长的关系，虽然机器学习现在还发展缓慢，但是在未来几十年就会变得飞快。

其它的，比如微软创始人Paul Allen，心理学家Gary Marcus，NYU的电脑科学家Ernest Davis，以及科技创业者Mitch Kapor认为Kurzweil等思想家低估了人工智能的难度，并且认为我们离绊线还挺远的。

Kurzweil一派则认为唯一被低估的其实是指数级增长的潜力，他们把质疑他们理论的人比作那些1985年时候看到发展速度缓慢的因特网，然后觉得因特网在未来不会有什么大影响的人一样。

而质疑者们则认为智能领域的发展需要达到的进步同样是指数级增长的，这其实把技术发展的指数级增长抵消了。

争论如此反复。

第三个阵营，包括Nick Bostrom在内，认为其它两派都没有理由对踩绊线的时间那么有信心，他们同时认为 a) 这事情完全可能发生在不久的未来 b)但是这个事情没个准，说不定会花更久。

还有不属于三个阵营的其他人，比如哲学家Hubert Dreyfus，相信三个阵营都太天真了，根本就没有什么绊线。超人工智能是不会被实现的。

当你把所有人的观点全部融合起来的话是怎样呢？

2013年的时候，Bostrom做了个问卷调查，涵盖了数百位人工智能专家，问卷的内容是“你预测人类级别的强人工智能什么时候会实现”，并且让回答者给出一个乐观估计（强人工智能有10%的可能在这一年达成），正常估计（有50%的可能达成），和悲观估计（有90%可能达成）。当把大家的回答统计后，得出了下面的结果：

乐观估计中位年（强人工智能有10%的可能在这一年达成）：2022年

正常估计中位年（强人工智能有50%的可能在这一年达成）：2040年

悲观估计中位年（强人工智能有90%的可能在这一年达成）：2075年

所以一个中位的人工智能专家认为25年后的2040年我们能达成强人工智能，而2075年这个悲观估计表明，如果你现在够年轻，有一半以上的人工智能专家认为在你的有生之年能够有90%的可能见到强人工智能的实现。

另外一个独立的调查，由作家James Barrat在Ben Goertzel的强人工智能年会上进行，他直接问了参与者认为强人工智能哪一年会实现，选项有2030年，2050年，2100年，和永远不会实现。结果是：

2030年：42%的回答者认为强人工智能会实现

2050年：25%的回答者

2100年：20%

2100年以后：10%

永远不会实现：2%

这个结果和Bostrom的结果很相似。在Barrat的问卷中，有超过三分之二的参与者认为强人工智能会在2050年实现，有近乎半数（42%）的人认为未来15年（2030年）就能实现。并且，只有2%的参与者认为强人工智能永远不会实现。

但是强人工智能并不是绊线，超人工智能才是。那么专家们对超人工智能是怎么想的呢？

Bostrom的问卷还询问专家们认为达到超人工智能要多久，选项有a)达成强人工智能两年内，b)达成强人工智能30年内。问卷结果如下：

中位答案认为强人工智能到超人工智能只花2年时间的可能性只有10%左右，但是30年之内达成的可能性高达75%

从以上答案，我们可以估计一个中位的专家认为强人工智能到超人工智能可能要花20年左右。所以，我们可以得出，现在全世界的人工智能专家中，一个中位的估计是我们会在2040年达成强人工智能，并在20年后的2060年达成超人工智能——也就是踩上了绊线。

当然，以上所有的数据都是推测，它只代表了现在人工智能领域的专家的中位意见，但是它告诉我们的是，很大一部分对这个领域很了解的人认为2060年是一个实现超人工智能的合理预测——距今只有45年。

那么我们来看一下下一个问题，踩到绊线后，我们将跌向平衡木的哪一个方向？

超级智能会产生巨大的力量，所以关键的问题时——到时这股力量究竟由谁掌握，掌握这份力量的人会怎么做？

这个问题的答案将决定超人工智能究竟是天堂还是地狱。

同样的，专家们在这个问题上的观点也不统一。Bostrom的问卷显示专家们看待强人工智能对于人类社会的影响时，52%认为结果会是好或者非常好的，31%认为会是糟糕的或者非常糟糕的，只有17%的人认为结果会是不好不坏的。也就是说，这个领域的专家普遍认为这将是一个很大的事情，不论结果好坏。要注意的是，这个问题问的是强人工智能，如果问的是超人工智能，认为结果不好不坏的人可能不会有17%这么多。

在我们深入讨论好坏这个问题之前，我们先把“什么时候会发生”和“这是好事还是坏事”的结果综合起来画张表，这代表了大部分专家的观点：

我们等下再考虑主流阵营的观点。咱们先来问一下你自己是怎么想的，其实我大概能猜到你是怎么想的，因为我开始研究这个问题前也是这样的想的。很多人其实不关心这个话题，原因无非是：

像本文第一部分所说，电影展示了很多不真实的人工智能场景，让我们认为人工智能不是正经的课题。作家James Barrat把这比作传染病控制中心发布吸血鬼警报一样滑稽。

因为认知偏差，所以我们在见到证据前很难相信一件事情是真的。我确信1988年的时候电脑科学家们就已经常在讨论因特网将是多么重要，但是一般人并不会认为因特网会改变他们的生活——直到他们的生活真的被改变了。一方面，1988年的电脑确实不够给力，所以那时的人们看着电脑会想：“这破玩意儿也能改变我的生活，你逗我吧？”人们的想象力被自己对于电脑的体验而约束。让他们难以想象电脑会变成现在的样子。同样的事情正发生在人工智能领域。我们听到很多人说人工智能将会造成很大影响，但是因为这个事情还没发生，因为我们和一些弱爆了的人工智能系统的个人经历，让我们难以相信这东西真的能改变我们的生活。而这些认知偏差，正是专家们在努力对抗的。

就算我们相信人工智能的巨大潜力，你今天又花了多少时间思考“在接下来的永恒中，绝大部分时间我都不会再存在”这个问题？虽然这个问题比你今天干的大部分事情都重要很多，但是正常人都不会老是想这个吧。这是因为你的大脑总是关注日常的小事，不管长期来看有多少重要的事情，我们天生就是这么思考的。

这篇东西的主要目标就是让你脱离普通人阵营，加入专家思考的阵营，哪怕能让你站到两条不确定线的交点上，目标也达到了。

在我的研究中，我见识到了各种各样的观点，但是我发现大多数人的观点都停留在主流阵营中。事实上超过四分之三的专家都属于主流阵营中的两个小阵营：焦虑大道和信心角

我们将对这两个小阵营做深入的谈论，让我们从比较有趣的那个开始吧

为什么未来会是天堂

研究人工智能这个领域后，我发现有比预期的多得多的人站在信心角当中：

站在信心角中的人非常兴奋，他们认为他们将走向平衡木下比较有趣的那个吸引态，未来将实现他们的梦想，他们只需耐心等待。

把这一部分人从其他思想家区分开来的是这些人对于比较有趣的那个吸引态的欲望——他们很有信心永生是我们的发展方向。

这份信心是哪里来的不好说，评论家认为是这些人太过兴奋而产生了盲点，忽略了可能的负面结果。但是信心角的人还是把批评者当作末日论者来看待，他们认为技术会继续帮助我们而不是伤害我们。

两边的观点我们都会说，这样你能形成自己的观点，但是在读下面的内容前，请把质疑暂时搁置，让我们看看平衡木两边究竟有什么，并且记住这些事情是有可能发生的。如果我们给一个打猎采集者看我们现在的舒适家居、技术、富庶，在他眼里这一切也会像魔法一样——我们也要接受未来完全可能出现能把我们吓尿的变革。

Bostrom描述了三种超人工智能可能的工作模式

- 先知模式

- 精灵模式

- 独立意志模式（sovereign）

这些对人类来说很复杂的问题，对于一个超级智能来说可能就像“我的笔掉了，你能帮我捡一下吗？”这么简单。

Eliezer Yudkowsky，是这么说的：

“根本没有困难的问题，只有对于特定级别的智能来说难的问题。在智能的阶梯上走一小步，一些不可能的问题就变得简单了，如果走一大步，所有问题都变得简单了。”

信心角里有很多热忱的科学家、发明家和创业者，但是对于人工智能的未来最有发言权的，当属Ray Kurzweil.

对于Kurzweil的评价非常两极化，既有如对神人般的崇拜，也有翻白眼似的不屑。也有一些中立主义者，比如作家Douglas Hofstadter，他觉得Kurzweil的观点就好像把美食和狗屎混在一起，让你分不清是好是坏。

时间线

Kurzweil相信电脑会在2029年达成强人工智能，而到了2045年，我们不但会有超人工智能，还会有一个完全不同的世界——奇点时代。他的人工智能时间线曾经被认为非常的狂热，现在也还是有很多人这么认为，但是过去15年弱人工智能的快速发展让更多的专家靠近了Kurzweil的时间线。虽然他的时间线比之前提到的2040年和2060年更加早，但是并没有早多少。

Kurzweil的奇点时代是三个技术领域的共同革命造成的——生物技术、纳米技术和最重要的人工智能技术。

在我们继续讨论人工智能前，让我们谈一下纳米技术这个任何关于人工智能的讨论都会涉及到的领域

等我们掌握了纳米技术后，我们就能用它来制造技术产品、衣服、食物、和生物产品，比如人造红细胞、癌症细胞摧毁者、肌肉纤维等等。而在纳米技术的世界里，一个物质的成本不再取决于它的稀缺程度或是制造流程的难度，而在于它的原子结构有多复杂。在纳米技术的时代，钻石可能比橡皮擦还便宜。

我们还没掌握这种技术，我们甚至不知道我们对于达成这种技术的难度是高估了还是低估了，但是我们看上去离那并不遥远。Kurzweil预测我们会在21世纪20年代掌握这样的技术。各国政府知道纳米技术将能改变地球，所以他们投入了很多钱到这个领域，美国、欧盟和日本至今已经投入了50亿美元。

设想一下，一个具有超级智能的电脑，能够使用纳米级的组装器，是种什么样的体验？要记得纳米技术是我们在研究的玩意儿，而且我们就快掌握这项技术了，而我们能做的一切在超人工智能看来就是小儿科罢了，所以我们要假设超人工智能能够创造出比这要发达很多很多的技术，发达到我们的大脑都没有办法理解。

因此，当考虑“如果人工智能革命的成果对我们是好的”这个命题的时候，要记得我们根本没法高估会发生什么。所以就算下面对于超人工智能的预测显得太不靠谱，要记得这些进展可能是用我们没有办法想象的方法达成的。事实上，我们的大脑很可能根本没法预测将会发生什么。

人工智能能为我们做什么

拥有了超级智能和超级智能所能创造的技术，超人工智能可以解决人类世界的所有问题。气候变暖？超人工智能可以用更优的方式产生能源，完全不需要使用化石燃料，从而停止二氧化碳排放。然后它能创造方法移除多余的二氧化碳。癌症？没问题，有了超人工智能，制药和健康行业将经历无法想象的革命。世界饥荒？超人工智能可以用纳米技术直接搭建出肉来，而这些搭建出来的肉和真肉在分子结构上会是完全相同的——换句话说，就是真肉。

纳米技术能够把一堆垃圾变成一堆新鲜的肉或者其它食品，然后用超级发达的交通把这些食物分配到世界各地。这对于动物也是好消息，我们不需要屠杀动物来获得肉了。而超人工智能在拯救濒危物种和利用DNA复活已灭绝物种上面也能做很多事情。超人工智能甚至可以解决复杂的宏观问题——我们关于世界经济和贸易的争论将不再必要，甚至我们对于哲学和道德的苦苦思考也会被轻易的解决。

但是，有一件事是如此的吸引人，光是想想就能改变对所有事物的看法了：

几个月前，我提到我很羡慕那些可能达成了永生的文明。但是，现在，我已经在认真的考虑达成永生这个事情很可能在我们有生之年就能达成。研读人工智能让你重新审思对于所有事情的看法，包括死亡这一很确定的事情。

自然演化没有理由让我们活得比现在更长。对于演化来说，只要我们能够活到能够生育后代，并且养育后代到能够自己保护自己的年纪，那就够了——对演化来说，活30多岁完全够了，所以额外延长生命的基因突变并不被自然选择所钟爱。这其实是很无趣的事情。

而且因为所有人都会死，所以我们总是说“死亡和缴税”是不可避免的。我们看待衰老就像看待时间一样——它们一直向前，而我们没有办法阻止它们。

但是这个假设是错的，费曼曾经写道：

“在所有的生物科学中，没有任何证据说明死亡是必需的。如果你说你想造永动机，那我们对于物理学的研究已经让我们有足够的理论来说明这是不可能的。但是在生物领域我们还没发现任何证据证明死亡是不可避免的。也就是说死亡不一定是不可避免的，生物学家早晚会发现造成我们死亡的原因是什么，而死亡这个糟糕的‘病’就会被治好，而人类的身体也将不再只是个暂时的容器。”

未来可能是我们最糟的恶梦

我想了解人工智能的一个原因是“坏机器人”总是让我很困惑。那些关于邪恶机器人的电影看起来太不真实，我也没法想象一个人工智能变得危险的真实情况。机器人是我们造的，难道我们不会在设计时候防止坏事的发生吗？我们难道不能设立很多安全机制吗？再不济，难道我们不能拔插头吗？而且为什么机器人会想要做坏事？或者说，为什么机器人会“想要”做任何事？我充满疑问，于是我开始了解聪明人们的想法。

这些人一般位于焦虑大道：

焦虑大道上的人并不是恐慌或者无助的——恐慌和无助在图上的位置是更加左边——他们只是紧张。位于图表的中央不代表他们的立场是中立的——真正中立的人有自己独立的阵营，他们认同极好和极坏两种可能，但是不确定究竟会是哪个。

焦虑大道上的人是部分为超人工智能感到兴奋的——他们只是很担心人类现在的表现就好像《夺宝奇兵》中的这位少年：

他拿着自己的鞭子和宝物，非常开心，然后他就挂了：

同时，印第安纳琼斯则更加有见识和更加谨慎，了解潜在的危险并且做出相应的反应，最后安全逃出了山洞。当我了解了焦虑大道的人们的想法后，感觉就像“我们现在傻呵呵的，很容易像前面那小子一样被弄死，还是努力做印第安纳琼斯吧。”

那究竟是什么让焦虑大道的人们如此焦虑呢？

首先，广义上来讲，在创造超人工智能时，我们其实是在创造可能一件会改变所有事情的事物，但是我们对那个领域完全不清楚，也不知道我们到达那块领域后会发生什么。科学家Danny Hillis把这个比作“就好像单细胞生物向多细胞生物转化的时候那样，还是阿米巴虫的我们没有办法知道我们究竟在创造什么鬼。”

Bostrom则担忧创造比自身聪明的东西是个基础的达尔文错误，就好像麻雀妈妈决定收养一只小猫头鹰，并且觉得猫头鹰长大后会保护麻雀一家，但是其它麻雀却觉得这是个糟糕的主意。

当你把“对那个领域完全不清楚”和“当它发生时将会产生巨大的影响”结合在一起时，你创造出了一个很恐怖的词——

生存危机指可能对人类产生永久的灾难性效果的事情。通常来说，生存危机意味着灭绝。下面是Bostrom的图表：

可以看到，生存危机是用来指那些跨物种、跨代（永久伤害）并且有严重后果的事情。它可以包括人类遭受永久苦难的情况，但是这基本上和灭绝没差了。三类事情可能造成人类的生存危机：

1）自然——大型陨石冲撞，大气变化使得人类不能生活在空气中，席卷全球的致命病毒等

2）外星人——霍金、卡尔萨根等建议我们不要对外广播自己的位置。他们不想我们变成邀请别人来殖民的傻子。

3）人类——恐怖分子获得了可以造成灭绝的武器，全球的灾难性战争，还有不经思考就造出个比我们聪明很多的智能。

Bostrom指出1和2在我们物种存在的前十万年还没有发生，所以在接下来一个世纪发生的可能性不大。3则让他很害怕，他把这些比作一个装着玻璃球的罐子，罐子里大部分是白色玻璃球，小部分是红色的，只有几个是黑色的。每次人类发明一些新东西，就相当于从罐中取出一个玻璃球。大多数发明是有利或者中立的——那些是白色玻璃球。有些发明对人类是有害的，比如大规模杀伤性武器——这是那些红色玻璃球。还有一些发明是可以让我们灭绝的，这就是那些黑色玻璃球。很明显的，我们还没摸到黑色玻璃球，但是Bostrom认为不久的未来摸到一个黑色玻璃球不是完全不可能的。比如核武器突然变得很容易制造了，那恐怖分子很快会把我们炸回石器时代。核武器还算不上黑色玻璃球，但是差的不远了。而超人工智能是我们最可能摸到的黑色玻璃球。

你会听到很多超人工智能带来的坏处——人工智能取代人类工人，造成大量失业；因为解决了衰老造成的人口膨胀。但是真正值得我们担心的是生存危机的可能性。

于是我们又回到了前面的问题，当超人工智能降临时，谁会掌握这份力量，他们又会有什么目标？

当我们考虑各种力量持有人和目标的排列组合时，最糟糕的明显是：怀着恶意的人/组织/政府，掌握着怀有恶意的超人工智能。这会是什么样的情况呢？

怀着恶意的人/组织/政府，研发出第一个超人工智能，并且用它来实现自己的邪恶计划。我把这称作贾法尔情况。阿拉丁神灯故事中，坏人贾法尔掌握了一个精灵，特别让人讨厌。所以如果ISIS手下有一群工程师狂热的研发人工智能怎么办？或者说伊朗和朝鲜，机缘巧合，不小心造成了人工智能的快速发展，达成了超人工智能怎么办？这当然是很糟糕的事，但是大部分专家认为糟糕的地方不在于这些人是坏人，而在于在这些情况下，这些人基本上是不经思考就把超人工智能造出来，而一造出来就失去了对超人工智能的控制。

然后这些创造者，连着其他人的命运，都取决于这个超人工智能的动机了。专家认为一个怀着恶意并掌握着超人工智能的人可以造成很大的伤害，但不至于让我们灭绝，因为专家相信坏人和好人在控制超人工智能时会面临一样的挑战。

如果被创造出来的超人工智能是怀有恶意的，并且决定毁灭我，怎么办？这就是大部分关于人工智能的电影的剧情。人工智能变得和人类一样聪明，甚至更加聪明，然后决定对人类下手——这里要指出，那些提醒我们要警惕人工智能的人谈的根本不是这种电影情节。邪恶是一个人类的概念，把人类概念应用到非人类身上叫作拟人化，本文会尽量避免这种做法，因为没有哪个人工智能会像电影里那样变成邪恶的。

但这不代表非常坏的人工智能不会出现，只不过它的出现是因为它是被那样设定的——比如一个军方制造的弱人工智能，被设定成具有杀人和提高自我智能两个功能。当这个人工智能的自我改进失控并且造成智能爆炸后，它会给我们带来生存危机，因为我们面对的是一个主要目标是杀人的超人工智能——但这也不是专家们担心的。

费米悖论

在隔壁老王的故事中，隔壁老王变得无所不能，它开始殖民陨石和其它星球。如果我们让故事继续的话，它和它的殖民军将会继续占领整个星系，然后是整个哈勃体积。焦虑大道上的人担心如果事情往坏的方向发展，地球生命的最后遗产将是一个征服宇宙的人工智能（马斯克在表示他们的担忧时表示人类可能只是一个数字超级智能生物加载器罢了。）

而在信心角，Kurzweil同样认为生于地球的人工智能将占领宇宙，只是在他的愿景中，我们才是那个人工智能。

之前写过一篇关于费米悖论的文章，引发了大家的讨论如何用通俗的语言来解释「费米悖论」？

所以，我们已经建立了前提，就是当有了设定后，一个超人工智能是非道德性的，并且会努力实现它原本的被设定的目标,而这也是人工智能的危险所在了。因为除非有不做的理由，不然一个理性的存在会通过最有效的途径来达成自己的目标。

至于现在的风口是哪里呢？简单来说，投资创新人工智能技术的钱，比投资人工智能安全研究的钱多很多。不乐观。

人工智能创新和人工智能安全的赛跑，可能是人类历史上最重要的一次竞争。我们真的可能结束我们对地球的统治，而那之后我们是永生还是灭绝，现在还不知道。

我现在有一些奇怪的感觉。

一边是对于我们这个物种的思考，看来我们在这个重大的历史节点上只有一次机会，我们创造的第一个超人工智能也很可能是最后一个。但是我们都知道大部分产品的1.0版本都是充满bug的，所以这个事情还是很吓人的。另一边，Bostrom指出我们有很大的优势——我们是先手。我们有能力给这个事情提供足够的预警和前瞻，使我们成功的机会更高。

这一场豪赌的赌注究竟有多高？

如果超人工智能真的在21世纪达成，而造成的影响真的如大部分专家预测的一样极端而永久，我们肩上就真的是背负着巨大的责任。接下来几百万年的人们都在静静地看着我们，希望我们不要搞砸。我们可以给予未来所有人类以生命，甚至是永生，我们也可能终结人类这个特殊的物种，连同我们所有的音乐、艺术、好奇、欢笑、无尽的发现和发明，一起走向灭绝。

当我思考这些事情的时候，我只希望我们能够慢慢来，并且格外格外小心。从来没有任何事情比这个更重要——不管我们要花多少时间来把这件事情做对。

我不想死

不.想.死

我虽然觉得人类的音乐和艺术很美好，但是也没那么美好，很多还挺糟粕的。很多人的笑声很恼人。未来的人类其实没有真的在看着我们，因为他们还不存在。也许我们不需要太谨慎，那多麻烦呀。

如果人类在我死后才发现永生的秘密该多让人扫兴啊。

但是不管你是怎么想的，我们至少都应该想一想，应该和人讨论讨论，大家尽自己能尽的一份力。

这让我想起了《冰与火之歌》——大家斗来斗去的事情都不是事儿，北面高墙外的那些家伙才是事儿。我们站在平衡木上，小心翼翼的往前走，为平衡木上的种种事情困扰，但其实下一秒我们可能就会跌下平衡木。

而当我们跌下平衡木的时候，其它那些困扰都不再是困扰。如果我们落到比较好的那个吸引态，那些困扰会被轻易解决；如果我们落到比较糟的那个吸引态，就更没问题了，死人是不会有困扰的。

这就是为什么了解超人工智能的人把它称作人类的最后一项发明，最后一个挑战。

【作者：翻译者 知乎 @谢熊猫君】