“未来已来”,这是在路边广告牌上看到的一句广告语。在整理《人工智能的未来》这本书的内容时,我的大脑皮层上不知道哪一块功能区接到一种莫名的输入信息,随后发生了一系列的自-联想记忆,便不由自主地记起这个词。
这本书是霍金斯十多年前写的。里面主要介绍什么是智能及大脑的工作原理。他认为,“人工智能和神经网络的科学体系框架并不适用于制造智能机器”,“现在(注:2002年左右)就是开始设计和制造类似脑皮层记忆系统的时机。这一领域将在科学和商业上都无比重要。在未来的10年内,建立在层级体系记忆之上的这个新行业将会出现诸如Intel和Microsoft这样的企业。”【这不是预言,事实已经有这样的企业。谷歌,不是吗?】
对于彼时的作者来说,我现在的阅读行为是在“未来”发生的;但对于现在的我来说,作者的那个“未来”已经发生。从这种意义上说,未来已来。当然,作者在书中提到的一些关于人工智能的研究和探索,也是如此。
一
全书分8章。在第一章中,作者介绍自己走上大脑研究之路的经历和上世纪70年代末科学界对人工智能研究的主要观点。
1979年6月,作者从康奈尔大学毕业进入Intel公司在波特兰市的工业园,最初的工作是分析并修复芯片上的错误。当年9月,《科学美国人》杂志出了一期关于大脑研究的专刊,唤起作者孩童时代就萌生的研究大脑、制造智能机器的梦想。1980年,作者被调往英特尔驻波士顿分公司,给客户和员工讲解如何设计微处理器。在这期间,他曾向公司提出专攻大脑工作原理研究的建议,结果未获支持。
1981年,申请MIT研究生院,因观点得到不认可被拒。1982年,作者举家搬至加州,在硅谷一个名为Grid Systems的小公司工作,期间他发明了一种被命名为Grid Task的高级程序语言,为公司发展做出突出贡献,但此时作者对大脑研究有着挥之不去的兴趣。所以,后来他参加了人体生理学的函授课程自学,在有了一定的基础之后,于1985年左右成功申请加州大学伯克利分校的生物物理学研究项目的全日制研究生,从此踏上大脑研究之路。【注:作者的经历再次证明,兴趣可以带来持久的动力。同时也说明,仅有兴趣是不行的,还要为兴趣而行动。】
文章回顾了当时人工智能研究的主要理论以及在计算机科学方面的实践成果,从英国数字家阿兰·图灵提出“万能计算”“图灵实验”,到神经生理学家活伦·麦卡洛克(Warren McCulloch)和数学家Walter Pitts解释“神经元是如何数字化工作”,再到20世纪上半叶占主导地位的“行为主义”心理学思潮对人工智能研究的影响,几乎通过图灵测试的“Eliza”程序、IBM的“深蓝”等。作者当时认为,人工智能面临一个根本的错误,即它无法圆满解决什么是智能的问题。
二
作者在第2章神经网络中,回顾了在加州大学伯克利分校最初的学习研究经历,讲述了神经网络的不足,以及形成自对人工智能研究的认识和解释。
从1986年1月开始,作者在加州大学伯克利分校的第一件事就是整理、汇编有关智能和大脑功能理论的研究成果,阅读很多来自不同领域的论文,包括解剖学、生理学、哲学、语言学、计算机和心理学等。期间,他阅读了大量科学论文,整理了智能研究的历史,并时刻关注着人工智能和神经网络领域的变化。
淹没在无数细节中的学习研究,并没有使作者对大脑的作用以及工作原理有全面的理解。作者对此开始反省,认识到“有了合适的大框架,细节才会有意义、可操控”(p20)【作者的研究,大致遵循“阅读——整理——前沿——反思”的流程,而且是无限循环。】
20世纪60年代后期,神经网络出现,但与人工智能的研究相对,得不到投资随后消沉,只有少数人坚持下来。直到80年代中期才重见天日,原因之一是人工智能研究不断失利。建立在神经系统之上的神经网络,模型相对简单(没有反馈),同时科学界以及媒体对“大脑的工作原理以及什么是智能毫无兴趣”,让作者感到失望。
作者认为功能主义将人工智能研究引入歧途。为了走上“正途”,他说,“智能是大脑的一个内部特征,因此我们必须研究大脑的内部以探究什么是智能。在观察大脑,尤其是新大脑皮层的过程中,我们必须仔细甄别什么是以前进化过程中形成的多余的‘冻结的偶然事件’,并且肯定在大脑的重要特征之中混杂有许多无用之物。......神经回路之中一定潜藏有某种精确的巨大能量等待我们去发挖掘,而这种能量将超过任何最先进的计算机”。作者认为,“半个世纪以来,我们调动了人类的全部聪明才智致力于计算机智能化的尝试。......,但智能机器却仍然不见踪影。要想取得成功,我们必须从天然的智能引擎——新大脑皮层——开始探索,必须从大脑的内部提取智能。除此之外,别无他途。”(p23)
1987年,在一次神经网络会议上,接触了一个能识别手写文字的神经网络。仅用两天时间,作者就设计出一种速度更快人、体积更小、使用更灵活的手写识别器,但它并不使用神经网络,而是某种规则系统,这促使十年之后作者发明PalmPilot掌上电脑。
在此时,作者逐渐形成了对大脑解读的三种标准:一是大脑功能的时间概念,即真正的大脑是在快速地处理大量不断变化的信息流,在中间没有任何东西是静止的。二是反馈的重要性。如,1根神经纤维向大脑皮层输入信息,就有10根神经纤维在向感觉器官传递信息。作者的这种认识主要来自于神经解剖学家。三是任何大脑模型或理论都应该能够解释大脑的物理结构。
一些理论家提出不以行为为中心的“自—匹配记忆”,成为作者关注的焦点。作者认为,人的大脑就是利用某种类似“自—匹配记忆”的回路来学习的。
三
第3章人脑,作者从解剖学角度讲述了大脑是如何工作的。
他说自己是新大脑皮层至上主义者。大脑最外面的部分被称为新大脑皮层。他的观点是,所有与智能有关的内容,都与它(新大脑皮层)有关。
新大脑皮层是什么样的? 作者用了一个形象的对比,6张名片叠在一起的厚度,约2亳米。相对其他生物来说,人的大脑皮层的面积与体型的比例要大的多。这6个层次中,每一层的细胞密度、形态和连接都是变化的。【这一点很重要。】
大脑皮层中遍布神经细胞,也称神经元。有解剖学家估计人的大脑皮层包含约300亿个神经元。这些神经元构成了一个人的记忆、知识和技能,并可以不断积累。所有的爱、思想、感觉,三观,都是来自这一层薄薄的细胞。这些细胞是如何创造出人类思想的,这正是作者想要找到答案的问题。
在作者看来,新大脑皮层的功能是一种层级结构。“大脑皮层的所有功能区都分布在回旋的脑皮层上,决定它们之间高低的关键在于相互之间的连接。”(p27)
在大脑皮层中,低级区域通过特定的神经连接方式向高级区域传输信息;而高级区域用另一种方式向低级区域反馈信息。不同区域之间也存在连接。低级感知区是最低的功能区,也是感知信息最先到达的大脑皮层区域,它处理最原始、最基本的信息。显示各种物体的视觉记忆区,处在大脑视觉皮层的较高层级。某些区域也可以接收来自多种感觉的输入信息,成为“联合区”。大脑前叶有几个区域专管运动输出。
对大脑的描述多数都会用流程图。但这种流程图反映出来的对层级结构的看法极为简单。作者认为,并不完全准确。因为,大脑皮层的信息也会反向传播,而且向下传播比向上的要多。所以不能认为所有的信息流都是单向的。
神经元的特征。圆形,带有树枝状的轴突和树突。当一个细胞的轴突接触至另一个细胞的树突时,会形成连接,叫做“神经突触”。突触的形成和强度是促成记忆存储的关键。【关键】
大脑皮层是由众多神经元组成,最大的一类被称为金字塔形神经元,占到总细胞数的五分之四。大脑皮层6层结构中,最上层有长达几千米的轴突区几乎没有细胞。其他五层都有。一个标准的金字塔形细胞有几千个突触,密度大、个体小,数量不可知。如果一个普遍金字塔细胞有1000个突触(实际上这个数接近5000~10000),那么大脑皮层约有30兆个突触。
如何去理解这个复杂到极点的结构。作者认为,神经学家Vernon Mountcastle于1978年发表的论文《大脑功能的组织原则》,是神经科学界最重要的发现。Mountcastle认为,所有大脑皮层的功能区域都遵循一个共同的算法,视觉、听觉,甚至运动输出之间,没有任何差异。还认为,大脑皮层的连接方式是由基因决定的。作者说,令人难以置信的是,大多数的科学家和工程师要么不相信,要么不理睬。
大脑皮层具有极强的灵活性和可塑性。细胞在形成之初并没有专门从事触觉、视觉或听觉的区分。作者认为,大脑各区域是根据传入的信息种类而发展出专门的功能。基因决定了大脑皮层的整个建构,包括各个区域之间相互连接的具体细节,但在此结构的内部,系统却具有极大的灵活性。【所以不要说自己笨的话,我们的大脑很灵活的。】
在这种理解基础上,作者说,不同的大脑皮层区域有着一个相同的、强大的通用算法,如果将这些区域按照合适的层级结构连接起来并输入信息,它就能学会了解周围的环境。【智能就在这里。】由此,作者认为,未来的智能机器不必具有和人类相同的直觉和能力,它不依赖于我们的生物大脑。【如果说智能都不需要依赖于生物大脑,那么更不需要具有人形,智能机器可以是多种形态;智能的核心是人造机器皮层,以及运作其上的皮层算法。】
这很让人吃惊。更甚于此的是作者认为,进入大脑皮层的输入信息是基本相同的。【如果没有理解错的话,应该可以这么比喻,就像计算机一样,无论你在计算机看到的是什么色彩、声音、形状,对计算机来说,这些内容都是由1、0组成的数据串所表式的电子脉冲。】对大脑皮层来说,输入大脑的信息,都是由轴突传递的,被称为“动作电位”“电脉冲”的神经信号。这种信号同时具有化学特性和电子特性。
头脑中的所有信息都是作为轴突上的空间-时间模式进入的。作者以视觉为例解释了所谓的“空间-时间模式”。我们看到一幅画面,离不开眼扫描(每秒快速移动3次)和快速变化的模式。“自然的视觉模式像一条河流进大脑,与其说它是一幅图,还不如说它像一首歌。”(p37)
接着分析听觉、触觉等其他知觉。结论是,大脑皮层不直接感知外部世界,它所知道的只输入轴突上的模式流。大脑是模式机器,模式才是实质。由此,对智能来说,不一定必须具有某种知觉或任何知觉的特殊连接。模式是智能的基本媒介。
大脑认识世界要借助一系列的感觉,感觉形成模式传入大脑皮层,经过相同的算法处理之后形成世界的模型,然后很巧妙地存于记忆之中。
四
第4章记忆。与晶体管相比,神经元要慢得多。一个神经元将突触上传来的输入信息收集起来并组合,约需5亳秒,即每秒运算200次左右。而现代计算机的运算速度比神经元快上百万倍。但是,看起来大脑更优秀。
为什么会这样?作者认为,这是因为大脑并不需要“计算”问题的答案,而只是从记忆中取出答案。
作者举了人抓球的例子,如果将同样的任务交给机器来完成,那么需大量的数学计算。而人完成这样的任务却用了不同的方法。作者认为这其中的关键就是记忆。大脑皮层不像计算机,它不会计算问题的答案,而是用存储的记忆来解决问题,做出反应。【果真如此吗?所谓的灵感是怎么回事?这也是靠记忆吗?】
在记忆方面,大脑与计算机有四点根本区别:
l大脑皮层可以存储模式序列;
l大脑皮层以自-联想方式回忆起模式;
l大脑皮层以恒定的形式储存模式;
大脑皮层按照层级结构储存模式。
【第一点很容易理解。小学生做乘法时经常会有一种表现,从“一八得八”开始,依次背诵出来,然后才能找到“四八三十二”。这说明记忆有一个存储模式序列的问题。另外,字母表也是如此。如果你问K后面是什么字母,那么他会从ABCD开始背诵,然后找到L。对歌曲的记忆也是如此,你不可能从后往前唱一首歌,虽然整首歌都在你的记忆之中。这些还都容易理解。实际上,其他感觉记忆也是如此,如作者所说的对沙子的感觉,对天鹅绒的感觉,毛巾擦身体的感觉,都是第3章所说的时间-空间模式,都是一个序列模式。】
所有的记忆都存储在神经元之间的突触连接点上。每一次记忆提取的过程只有少数有限的突触和神经元在起作用。
而计算机的记忆则不是这样,计算机的记忆被称为RAM,即随机访问存储。如果要计算机实现顺序模式存储,需要软件的支持。所以序列存储是大脑皮层记忆系统的特性。
自-联想是记忆的第二个特性。自-联想是指模式可以和自我联系在一起,自-联想系统是指能够根据不完整或混乱的输入信息回想起全部模式的系统。无论何时,一个记忆片断可以激活全部的记忆,这是自-联想记忆的精髓。【遗忘又是怎么一回事?一个信息输入大脑皮层之后,是不是能够永久保存下来?如果不能永久保存,那么可以保存多久?为什么有的事情虽然过去许多年,却可以不费多少气力就可以清楚地回忆起来。而有的事情却老也记不住?】
人的大脑就是一个复杂的自-联想系统。在清醒的时候,大脑皮层的每一个功能区都保持警觉,等待模式输入。这一切都是自动发生的。【这种状态有些像计算机系统中的一些守护进程,一旦处于运行状态,都保持警觉。与大脑不同的是,这些守护进程一直等待接收特定的模式,而大脑几乎对所有的输入信息进行自-联想处理。】
大脑皮层的第三个特征:恒定表征。大脑记忆不象计算机记忆,从某种程度上说计算机记忆是固定的,如你存储在计算机的数据在非物理损坏或人为破坏的情况,其数据是不变的;从硬盘拷贝到其他介质上,其内容是完全一致的。而人脑记忆并非如此。
以视觉为例,一个熟悉的脸只要出现在你的视线里,不论它的大小、位置、方向如何,大脑皮层的面孔辨别区的一些细胞会一直保护稳定的激活状态。这种细胞激活的稳定状态就是一种恒定表征。对于大脑皮层是如何形成恒定表征的,仍是最大的科学谜团之一。【不知道现在的研究进展哪里了。】
作者认为,大脑皮层的每一个区域都有抽象的功能。记忆能够被存储,是因为抓住了相互关系的精髓,而不是某个瞬间的细节。当你在看、在感觉、在听时,大脑皮层接收到详细的高度特化的输入信息,并将它们转化成一种恒定形成。【了解这一点,应该有助于记忆,即注意特化。比如说,用一组数字来帮助记忆多个句子。这应该就是一种抽象和特化。但是这种有意为之的抽象和特化与大脑皮层自动进行的特化,是不是一回事?】
作者说,被存储的实际上是恒定形式,与每一个新的输入模式相比较的也是恒定形式。记忆的存储、记忆的唤醒以及记忆的识别,都发生在恒定形式的基础之上。计算机中没有与之相同的概念。由此引出大脑皮层的一个重要功能,即如何利用记忆进行预测。
本章讨论的有关大脑皮层记忆的三大特征(存储序列、自-联想记忆和恒定表征),是根据过去记忆推测未来的必要因素。而智能的必要因素是预测。“预测未来的能力才是智能的关键”(p4)【舍恩伯格说,大数据思维的重要特征是预测未来。那么,大数据思维就是智能吗?】
五
智能理论新架构。从本章开始,作者对智能理论提出一种新的架构。这种新架构源于作者的观察。作者认为,“我们的大脑在利用记忆不断地对我们看到的,听到的和感觉到的东西进行预测。”为了证明这种想法,霍金斯做了“改变了的门”的实验。
通过这个实验,他提出了进一步的观点,即预测不仅是大脑所做的事情,还是大脑皮层的主要功能,是智能的基础。“脑皮层是一个预测器官,如果解读什么是智能,什么是创造力,大脑是如何工作的以及如何建造智能机器,我们必须了解这些预测的本质,并搞清楚它们是如何形成的,甚至对作为预测副产品的行为都要透彻地了解。”(p61)
在这里作者对这种观点进行了广泛的思考,以证明预测对于智能的重要作用。还讨论了预测和行为的关系。从进化论的角度,说明人和爬行动物最显著的区别在于新大脑皮层,后者不具备新大脑皮层。哺乳动物更加聪明,这是因为哺乳动物也拥有新大脑皮层。
六
大脑皮层工作原理。可能是因为作者生物物理学的知识背景,以及不了解大脑就谈不上智能的观点,使得本章成为这本书的重点,份量很重,约占全书的三分之一左右。这里作者全面探讨了大脑皮层的层级结构,并一步一步探讨大脑皮层的记忆-预测模型是如何工作的。
关于恒定表征。以视觉区域为例。认别物体涉及4个视觉区域,从下向上分别是:V1,V2,V4,IT。其中从下向上信息流不断输入,从上向下则是“反馈连接”。信息向上流动,期待向下流动。当向下传递的信息汇入到不断输入的信息时,就会对我们接下来要经历的事进行预测。在脑皮层区域中位置越高,能看到的变化越少。视觉是基于时间的输入流,同听觉、触觉一样。
关于整合感觉。对于视觉输入的结果,我们会有一个期待。比如说,我现在正在打字,要输入一个“好”字,用五笔字型可以输入vb。这个输入的过程,用触觉。当如果我输入了vb之后,期待电脑屏幕上会出现“好”字。触觉上的输入动作,是通过视觉上的反馈连接,来验证输入是否正确。当然,这个“是否正确”,会牵涉到更多的大脑皮层活动。这个过程,就是大脑皮层将各个感觉整合在一起。
作者对此的结论是,整个新大脑皮层及所有的感觉和联合区都行动如一。什么意思呢?代表着这是一个完整的感觉系统,这个系统将视觉、听到、触觉以及更多的感觉结合在一起,所有这些都在一个单一的多分支的体系中同时向上、向下流动。
此外还有,所有的预测都是是从经验中学习的。而所谓的“经验”,正是大脑皮层上存储的各种模式。
关于V1区新说。脑皮层体系较高的区域形成恒定表征。为什么这个重要功能只出现在较高区域呢?
任何一个脑皮层区域的工作就是要弄清它的这些输入是如何关联的,然后记忆这些输入之间的关联序列,并用这个记忆来预测这些输入将有何种表现。脑皮层各处的工作都是一样的,这就是通用的脑皮层工作原理。
关于世界的模型。世界上的一切事物都是由同时出现的较小事物组成的。这就是作者所说的嵌套结构。一个人对于自己家的记忆并不存在于脑皮层的某一个区域里。它存储在脑皮层的整个层级结构里,而这又反映了你家的层级结构。【曾看过一个记忆方法“记忆的宫殿”,其工作原理实际上就是将需要记忆的事物附着在一个熟悉的空间结构中,以达到记忆效果。现实世界的模型是一个巨大无比的树形结构。linux操作系统的文件目录就有这样的结构,所有的数据都统一于一个“/”根目录之下。此外,数据库软件底层实现有很多树形结构。树形结构在存储/记忆信息方面具有优势。这些计算机软件是在模拟大脑么?或者说当初的设计者们从大脑皮层的层级结构中获得过启示吗?】
“脑皮层有一个巧妙的学习算法,它能自然地发现存在着的任何层级结构并捕获它。”(p90)【掌握这种学习算法,并且用计算机模拟出来,会是什么样的结果?与现在深度学习有什么样的关系?】
“在任何一个时刻,你只能体验到世界的一个子集。在一个时间点上,你只能在你家里的一个房间里,看着一个方向。”“脑皮层的较高区域追踪着大的图像,而较低的区域则积极地处理快速变化着的小细节。”
“脑皮层的每个区域都看到一股这样的模式流。如果模式都是如此相互关系着,而皮层区域能够学会预测接下来将出现什么模式的话,我们就说脑皮层区域对这一序列形成了稳定的表征,或者叫记忆。产生真实世界中的物体的恒定表征的最基本要素就是要记住序列。”(p91)
关于序列的序列。作者在这里以背诵、打印同一篇演讲稿为例进行说明:在任何一个区域里,恒定表征都能分为两支,分别沿着不同的路径向下传播。系统中最底层的简单对象的表征能够被各种更高级的序列反复利用。【这里类似设计模式中的MVC模式,即同一份数据可以在控制器的帮助下,显现出迥然不同的样子。】
“如果脑皮层中较低的区域无法预测它们看到的是什么模式,它们就会认为这是一个错误并且将这一错误向上传递。这一步骤重复进行直到某一区域确能预测出这一模式。”【这些描述不是很眼熟吗?这与某些程序设计语言中的异常处理机制是非常相似的。这些编程语言在设计时,是不是也参考了脑皮层的这种机制?】
脑皮层的每一个区域都在努力存储并且提取序列。每个区域都会先将输入分类,将它们归到有限的几种可能中,然后再寻找能与之对应的序列。作者认为,将信息分类和序列化是产生恒定表征所必需的两个步骤,也是皮层中每个区域都要进行的两个步骤。
多半情况下,人是意识不到自己在利用大脑中的序列记忆来填充模棱两可或不完全的信息的。序列记忆不但能让你消除当前输入中的歧义,还能帮助你预测接下来的输入会是什么。识别出一个模式序列后,大脑皮层区域就会预测接下来的输入模式会是什么,并告诉下面的区域该期待什么。
在大脑皮层的各区域中,“自下而上”的分类,和“自上而下”的序列化总是相互作用,它们在你的一生中总在变化。这就是学习的本质。实际上,皮层的所有区域都有“可塑性”——它们都可以因经验而改变。形成新的分类和新的序列就是你存储世界的方式。
从人的视觉和机器视觉来看,电脑与人脑的区别在于,“你所记住的并不是视网膜所看到的事物的快照,也是耳蜗或皮肤所接受的模式的快照。大脑皮层的层级结构保证了对事物的记忆分布于皮层的层级结构中,而并不集中存于一点。并且,因为在皮层体系中每一个区域都形成恒定的记忆,所以典型的皮层区域所学得的就是恒定表征序列,这些序列本身也是恒定记忆的序列。人脑中是找不到杯子或其他物体的图像的。”(p98)
“你的大脑记住的是世界的本质,而不是它看上去的那个样子。当你对世界进行思考时,你是在提取那些对应于世界上物体的存在和表现方式的模式,而不是它们在某一刻通过你的任何感官所表现出来的样子。......你赖以体验世界的序列就是世界的真正结构,也就是大脑皮层所要记忆的内容。”(p98)
“大脑皮层里任一区域中的恒定表征,都能通过将模式沿皮层体系向下传播而被转化为你感官将要感知的样子的细节性预测。”(p98)
关于大脑皮层区域会是什么样子。皮层区域的结构,皮层区域中的细胞如何学习并提取模式序列的,形成恒定表征和进行预测的最必要的元素。
这里介绍了垂直柱的结构。这些垂直柱内的各层是通过上下延展的轴突连接,形成纵向的突触。每个垂直柱中的细胞彼此有很强的联系不,会对同一刺激产生反应。
为什么会形成这些垂直柱?在胚胎期,单个的前身细胞从内脑室移动到皮层最终成形的地方,每个细胞都分裂成大约100个神经元,被叫作microcolumn,它们与垂直柱连接起来。人类的大脑皮层大约有好几亿个微型柱。
信息在第1层中水平流动,第2至5层中纵向流动。每个垂直柱中,细胞上突触有超过90%是与外部相连的。1979年蒙卡斯尔提出单一的皮层算法时,指出皮层垂直柱是皮层中的基本计算单位。作者认为,垂直柱是预测的基本单位。一个垂直柱要兴奋并能进行预测,就必须知道其他地方都发生了什么,因此就有了从各处而来突触。一个垂直柱中的细胞连接到大脑中其他地方的大量突触,能为每一个垂直柱提供它在许多不同情境下预测下一步兴奋状态所必要的上下文信息。
解剖学发现,当轴突离开第6层到达其他地方时,它们都被包裹在一种叫做髓磷脂的白色脂肪物质里。这种白质如同绝缘层,有助于信号互不干扰,并能使信息传递更快。信号以大约每小时320千米的速度传播。当轴突离开白质时,就进入了第6层中新的皮层垂直柱。
第5层细胞与丘脑。
关于皮层区域的详细工作原理。3种回路:沿皮层体系而上的汇聚模式、沿皮层体系而下的扩散模式、经由丘脑的延迟反馈。可以解释皮层区域是如何完成它所具有的功能。
皮层区域将输入归成是一组垂直柱的兴奋状态。细胞需要信息以帮助它们预测自己何时会被下面的区域驱动。通常情况下,邻近垂直柱中的兴奋有着很强关联性。因此,我们能看到有许多伸展到邻近垂直柱的直接连接。
作者在这里给出了自己对恒定表征形成过程的解释。
如何对未见过的事件进行预测。作者认为,唯一途径是利用最后的特定信息将恒定预测转化为具体预测。从大脑皮层的角度说,必须将前馈信息(实际的输入)与反馈信息(恒定形式的预测)相结合。
“白日梦”完全是大脑皮层自身所做的保健操。本来应该将输出信息向较低皮层区域的,再次成为输入,回流到输入流中。第6层细胞除了把信息投射到较低的皮层区域外,它们还将输出信息发送回自己所属垂直柱的第4层细胞。如此一来,我们的预测就成了输入。有人将这种情况称为folded feed-back,可作者称之称imaging。
知觉和行为几乎就是同一的。只要你的行为有所涉及,你的预测就不但要先于感觉,而且还会决定感觉。【所谓的心理暗示吗?】思考、预测和行动都属于沿皮层体系下行序列的同一个展开过程。
通过思考而“行动”,以及知觉和动行作为的平行展开过程,是所谓面向目标的行为的核心内容。面向目标的行为是机器人研究的神圣目标,它被置入皮层的结构之中。
“思考做某事”确实是我们完成这件事的开始。
关于上行与下行。这个部分解释信息如何在皮层体系内上下流动的。在理想状态下,如果一个世界是已知的并且是可预测的,那么大部分的上下模式流主要是快速地发生在皮层的较低区域。大脑迅速地尝试着找到自己世界模型中与预料外输入相一致的部分。只有在这个时候,大脑才能有理由知道接下来要期待什么。【做数学题会碰到自己不会做的题型,思考这种题的过程,就是输入信息流从低层区域不断向上传递,高层区域就会有越来越多的皮层区域参与,直至上方有一个区域认为自己可以解决这个问题,就是产生一个新的预测,然后沿着这个层级体系尽可能向下传播。如果没有找到或者新的预测不对,就会检测到错误,然后大脑皮层重要这个过程。如果怎么想都是不会做,那说明在大脑皮层中没有这种模式存在。可以这样解释吗?】
用去很长时间忽然间找到。顿悟就是这种感觉。用这个模型可以解释“顿悟”。
关于反馈。神经元的树突到底是如何工作的,这仍然是个谜。一般认为,沿皮层体系向上传递的信息是通过靠近细胞体的突触来传递的。沿体系向下传播的反馈信息是通过远离细胞体的突触传递的。但是作者认为,神经元中远距离的树突上的突触对细胞兴奋有着积极和明确的作用。
关于大脑皮层如何学习。作者认为,学习和记忆存在于所有的层次和所有的垂直柱中,以及所有的皮层区域中。海布学习法则:如果两个神经元同时兴奋,它们之间的突触就会得到加强。这种观点是正确的,但不是终极理论,实际情况更为复杂。神经系统有许多海布学习法则的变体。
什么是学习?对于大脑皮层来说,学习的两个基本要素就是形成对模式的分类和建立序列。当一个皮层区域学习序列的时候,到达第4层细胞的输入就在变化。因此,这些第4层细胞就会学着进行新的分类,并改变投射回第1层的模式,进而对序列产生影响。
形成序列的基本过程是将属于同一事物的模式归为一个组。有一种方法就是将时间上连续发生的模式归为一组。还有的需要借助外部指令来决定哪些模式是一个整体。在反复的学习过程中,对象的表征会沿着皮层体系向下移动。【结合“关于上行与下行”部分的内容,可以这么认为,熟练的记忆是通过加强相关突触的强度,将记忆对象的表征逐渐地压低到皮层体系的下层。可以这么看吗?】
作者认为,并不是说大脑将它们向下转移,而是它们不得不一次又一次地重新学习。作者也坦言,记忆的实际形成过程更为复杂。他认为,第4层的模式分类是先从底部开始,然后往上移动。在这个过程中,形成序列,随后这些序列向下移动(更准确地说是对模式的记忆会在皮层的越来越低的区域中重新形成)随着简单地表征往下移,位于皮层底部的区域就能学习更复杂、更细微的模式了。【这不正是基础知识越扎实,就可以更快地学习复杂的新知识吗?这对如何学习,有直接启示。】
随后作者解释如何成为一名专家。他说,如果你反复研究某一类事物,你的大脑皮层将在较低的层级中形成对它们的记忆表征,这就把皮层中的较高层级给释放出来了,可以利用它来学习更细微、更复杂的关系。根据这一理论,专家就是这样被培养出来的。【《学习的艺术》一书中,作者学习太极拳的方法正是如此。大前研一在《问题解决力》《专业主义》也曾描述过这种类似经历,通过分析2000多个案例奠定咨询行业的基础。】
关于海马:处于最高层。新皮层下有三个可以相互沟通的大脑结构:基底神经节、小脑和海马。这个三个结构都是先于新皮层而存在。粗略地说,基底神经节是原始的运动系统,小脑主要学习事件间精确的时间关系,海马则储存具体事件及地点有关的记忆。
海马对形成新的记忆至关重要。没有海马,可以照常说话、走路、看和听,但是记不住所有新的事物。能记起失去海马前许多年认识的朋友,却记不起一个新遇见的人。它对学习很重要,但是我们掌握的大部分知识最后储存在新皮层,而不是海马。【感觉海马像是一个缓冲区,新的事物都需要在这个缓冲区里不断地强化,直到达到某一个阀值,才能最终储存到新皮层。但是作者不是这么认为。】
作者认为,一切感觉数据流,都直接流入皮层的感觉区,而不是先经过海马。2002年,红杉神经科学研究中心的Bruno Olshausen指出,海马与新皮层之间的连接表明海马是新皮层的最高区域,而不是一个独立的结构。【参照“关于上行和下行”部分的内容,里面并没有说明,一个识别不出的模式不断上行后的最终去向。作者这里作了回答。如果皮层每个区域都理解不了输入,这些无法解释也没有预期到的事物的新记忆就进入海马,并储存在那里。但是这些信息并不会一直存在。它们要么被转移到皮层,要么就永久的丢失。】
一个较为普遍的现象,随着年岁增长,人要记住新事物起来越难,而孩子较很容易。对此,作者觉得这可能是因为这些新事物对孩子来说是真的新,而对成年人来说并不新,过去的记忆中有很多雷同之事(物),所以这样的信息并不会到达成年人的海马。【这是作者的推测。】
海马是一个非均质的结构,由若干专门化的区域组成。它最擅长的就是快速记住它所看到的任何的模式。它处于金字塔的顶端,能让新事物的记忆转存在皮层体系中。皮层体系存储记忆是一个稍慢的过程,而在海马里,可以快速记住一件新事物。但是,你必须再三体验同一件事物,不管是实际体验还是在想象,它才会永久地存于皮层中。【这对于学习来说,是有启示意义的。知道了记忆的原理,要想记忆长久,必须反复记忆。重要事物说三遍。】
关于上溯体系的第二通路。大脑皮层还有第二个主要通道可使信息在区域间传递,还可以使信息在层级体系中向上传递。从有轴突伸入丘脑(不同于前面探讨的部分)的第5层细胞开始,然后经由丘脑一直延伸到皮层中紧接着的较高区域。每当皮层的两个区域上下彼此直接相连时,它们也通过丘脑间接地相连。第二通道只向上传统信息,不向下传递。
第二通道是受控制的。在第一种状态下,通道基本关闭,信息不能通过。第二种状态下,信息在两个区域间精确地流动。Murray Sherman,Ray Guillery两位科学家描述过第二通道。对此,作者的猜测是,丘脑的第二通道就是我们去注意平时不会注意到的细节的机制。它绕过第2层对序列的分类,直接将原始信息送到皮层的较高区域。比如,读一个单词时,你几乎不会注意单词的每一个字母。
生物学家指出,开启第2条通道有两种途径。一种是皮层较高区域发生信号。另一种是从下方传来很强的预料外的信号。
作者说,这一章中提出了很多关于新皮层工作原理的设想。也许细节上需要修改,但核心思想却可以保留。
大脑的新皮层并不是由超高速的组件组成,其运行的规则也并不复杂,它确实有着一个分级结构,里面包含着上亿个神经元和上万亿的突触。作者认为,我们能理解它,正如能研制出计算机来一样,最终也能研制出与新皮层有着同样工作原理的智能机器来。
七
意识和创造力。所有的哺乳动物,都具有古脑,其顶部是新大脑皮层,从老鼠到猫,再到人类,它们都具有智力,只是程度高低不同而已。
作者认为,智能的发展经历了三个时期,每个时期都利用了记忆和预测。第一个时期是生物将DNA作为记忆的载体,通过基因将世界的记忆传给后代。第二个时期始于可以快速形成记忆的神经系统的出现。第三个时期,也是最后一个时期,是人类所特有的。语言的产生和新皮层的扩展。
关于创造力。创造力并不仅仅发生在大脑皮层的某个特定区域, 也不是固定在皮层某个特定的结构或回路上。它是皮层各区域所固有的一种属性,是预测的必要组成部分。
在作者眼中,创造力并不神秘,它可以被简单地看成是通过类推而进行预测的一种活动而已。它发生在大脑皮层的各个角落,只要人醒着,它就时时发生。【类推】
预测就是将恒定记忆序列应用于新的情况,因此脑皮层的所有预测都是通过类推而形成的,我们通过类比过去而预测未来。【这不就是历史的作用吗?】
只有当记忆-预测系统在做高层次的抽象活动时,也就是当它利用非同寻常的类推而做出非同寻常的预测时,此刻的行为才是创造性的。【AlphaGo是不是表示出来智能的创造性?】
创造力就是将过去曾经体验过的模式与未来生活将要认识的模式彼此糅合、匹配。
关于某些人更富有创造力。人与人的创造力存在差别的原因,一是与环境因素有关,二是与自然属性有关。环境方面,每个人都在脑皮层里形成对世界的不同模型和记忆,而做出的类推和预测也不尽相同。自然属性方面,大脑表现出自然的差异性,有些是基因决定的,如区域的大小,脑细胞的多少和连接类型也有所不同。
在解决问题时,有一些方法是可以培养我们找到有用的相似点。首先要假设自己面对的问题是有答案的。不要轻易放弃,要为此而坚持长时间的思考。其次,要让自己的思想任意驰骋,在大脑充分的时间和空间。
找到一个问题的解答实际上是要找到存储在大脑皮层中与当前要解决的问题相似的模式。如果对某个问题不解,记忆-预测模型建议你从不同的角度去观察它,这会提高找到答案的可能性。【六顶帽子思考法的理论基础应该在于此。】
如果在某个问题上卡住了,那么暂时将它放在一边,先做点别的事情,然后再重新开始,将问题改变一下提法。如果这样反复多遍,可能花上一些时间,但问题迟早会有些眉目,你会在过去的经验中找到相似的情况。要想成功,就要反复琢磨问题,同时还要做点其他事情。这样,大脑皮层就会有机会找到一些相似的记忆。【这种道理很早就被教导,只是不知所以然】
错误的类推是危险的。创造力也有可能让人误入歧途。
作者认为,记忆-预测模型可以部分地解释意识是什么这个问题。意识有两种:一种是日常理解的意识,这是一种陈述性记忆,即你能回忆起来并告诉他的记忆。另一种是可感受性。作者觉得平衡自行车这件事就是不能确切地解释出来的。这与古脑有关。
作者本没有完全解释清楚意识。他觉得可以有两种原因,要么跟生物结构有关,要么跟模式有关。但他认为,不管意识如何界定,可以肯定的是,记忆与预测对于意识的产生起着决定性作用。
除意识之外,还有心智、灵魂、想象力。想象需要一种神经机制将预测转变为输入,即“折叠反馈”。
心智不过是大脑工作的标志,它不是操控大脑细胞或与大脑细胞共存的某种独立的东西。神经元就是细胞。没有什么神秘的力量会改变单个或多个神经细胞的正常工作方式。
大脑皮层的通用算法,就是表现记忆和预测的能力。
八
智能之未来。这一章是对未来的想象。作者认为人类可以制造出智能机器,但不会你想像的那种样子。人型机器人仍然是存在幻想中。原因有几个方面,首先,人的心智不仅靠新大脑皮层,还需要古脑的情感体系和人体复杂结构。制造和维护类人机器人需要花费更多的精力。
作者给出自己对智能机器制造的路线图。首先是需要一组感觉器官,通过它们从世界提取模式。【就是各种传感器】其次,跟这些感官相连的是一个以大脑皮层工作原理而运作的分层存储系统。接下来需要像教育孩子一样去训练这个存储系统。通过反复的训练,智能机器构建一个它自己的关于世界的模型。
智能机器必须通过观察它周围的世界来进行学习,必要时也包括接受训练者的输入。当智能机器建立起一个关于世界的模型,它就能依据过去的经历来做出类推,从而对未来事件做出预测,为新问题提供解决方案,并且还可以帮助我们得到某些知识。
智能机器的物理形态可以多种多样的。
作者认为,制造智能机器最大挑战是建立记忆。面临的是记忆容量和连通性方面的挑战。【研究智能机器,那些具备庞大数据量和超级计算能力的机构具备很大的优势。】但是作者说,大脑皮层约有32万亿个突触【2016年2月,百度吴恩达说他们已经建起了1000亿个连接点】。如果只有2个bit表示一个突触【为什么是用2个bit来表示?2个bit可以表示4种状态?00/01/10/11】,约需要8万亿字节的容量。【现在TB的硬盘已经常见了,粗略相当于8块1TB的硬盘容量】智能机器将需要智能记忆芯片。
连通性问题。作者认为,连通性是研制智能机器过程中面临的最大技术难题。一旦技术难题解决,就没有什么根本性的问题可以阻挡我们制造真正在的智能系统。
该不该制造智能机器。没什么问题。
智能机器可以做什么?从语音识别变成语音理解。短期内可以提高现有语音识别系统的性能。视觉识别。自动驾驶方面,可以在汽车下线时永久地固化记忆,也可以设计成售后可继续学习型,如果条件允许,可以将记忆重新配置,成为升级版。【未来自动驾驶汽车的商业模式是什么样?可以想象的是,买来一辆车并不能马上自动驾驶,还是会像手机、有线电视、网络一样,只有硬件是不行的。只是不知将是按公里付费,还是包月。如果是这样的自动驾驶汽车,你会怎么选?】
作者认为,智能机器在4个方面会超过人脑的能力:速度、容量、可复制性和感觉系统。速度不用说。容量方面,可以通过增加层次,导致更深入的理解。可以扩大区域容量,让机器捕捉更多细节,变得更敏锐。还可以扩展感觉系统,建立更好的世界模型。
在高科技领域有一种说法:变化比你的短期预期要长,但比你的长期预期要短。作者认为,这一领域现在正处在转折点上,很快就会腾飞。【谷歌的库兹韦尔说的奇点来临?还需要20年吗?】
20世纪90年代被称为“大脑的十年”(the decade of the brain)
九
《人工智能的未来》由杰夫·霍金斯(Jeff Hawkins)、桑德拉·布拉克斯莉(Sandra Blakeslee)合著。后者是美国一位著名科普作家,对本书进行了润色。中文版由贺俊杰、李若子、杨倩翻译,西安陕西科学技术出版社2006年出版。
阅读这本书原来打算是用4天晚上,每晚两章,结果有一天晚上有事耽搁,结果5天才看完。一边看一边记,最后留下1万5千字左右的记录。
如果把这本书比作一座矿山,那这些记录就是自己在山里挖掘到的一些矿石。但是由于技术不精,都是些粗矿,有些好东西还有矿山里没能挖掘来。对矿山还需要继续发掘,对粗矿还需要进行精炼。
括号内的文字是阅读、记录过程中的即时感受或联想,没有多少深入思考,只是作为一个标记,仅仅代表“哦,我在这里停顿了一下,这段内容让我产生一段有趣的联想”。看完之后不了解的、不知道的和想知道的都变更多了。
如果这本书是一片美丽的风景,这五天里自己慢慢游览,看到多处美景。能不能形成恒定记忆呢?那还得要下一番功夫。