深度学习-11:神经元、神经网络、人脑和卷积神网络

深度学习-11:神经元、神经网络、人脑和卷积神网络

深度学习原理与实践(开源图书)-总目录

在生物神经网络中，学习源自于大脑中无数神经元之间的连接。大脑接触到新的刺激后，这些神经元之间的连接改变了配置。这些更改包括出现新的连接，加强现有连接和删除那些没有使用的连接。例如，重复给定任务的次数越多，与这个任务相关的神经连接就越强，最终我们会认为这个任务被学会了。

神经元使用记忆和感知里预先建立（pre-established）的表征来处理新的刺激。每个刺激都能让一组神经元在认知过程中会被激活，而这样的神经元有很多很多。

基因无法决定一切，大脑神经元的联结才是人类身为智慧生物的最重要的部分 --神经学家巴斯蒂安.尚(Sebastian Seung)

1 生物神经网络简史

• 1943年的时候，心理学家麦卡洛克 (McCulloch) 和数学家 Pitts 参考了生物神经元的结构，发表了抽象的神经元模型M。
• 1949年，有一个心理学家赫布(Hebb)提出了著名的Hebb模型，认为人脑神经细胞的突触上的强度上是可以变化的。于是调整权值成为神经网络基础算法的理论依据。
• 1852年，意大利学者因为一个偶然的失误，将人类的头颅掉到硝酸盐溶液中，从而获得第一次通过肉眼关注神经网络的机会。这个意外加速了人对人类智力奥秘的探索，开启了人工智能、神经元这样概念的发展。
• 190x年，德国神经生理学家科比尼安·布洛德曼（Korbinian Brodmann）的大脑分区模型，人的大脑被划分为额叶、顶叶、颞叶、枕叶以及边缘系统等若干区块。布洛德曼分区模型，已成为脑神经科学家研究不同大脑区域与人的感知、语言、运动、情感、意识等生理及心理活动的标准参考模型。
• 1957年, 美国神经科学家弗农.蒙卡斯尔(Vernon Mountcastle)提出了大脑皮质柱理论，并认为皮质柱而非神经元是大脑新皮质学习的基本单元，皮质柱是神经元的集合(100个左右)，并可以认为皮质柱是最基本的模式识别器。
• 1958年，计算科学家罗森布拉特（Rosenblatt）提出了由两层神经元组成的神经网络，并被称为感知机。美国军方也赞助了感知机的研究。
• 神经科学家Tomaso Poggio发现了视觉皮质是层级体系的工作原理，被划为为V1、V2、MT和V5区域，V1识别物体的基本线条和初始形状；V2识别物体的轮廓，残差和定位等；更好层级识别物体的抽象概念；层级体系中，信息双向流动，信号包含刺激信号和抑制信号。
• 2004年，Jeff Hawkins和Dileep Geoge提出大脑新皮质模型

2 大脑的分层特性

哺乳动物的脑认知结构都呈现出“层级结构”的特点，这是具象感知到抽象思维之间得以顺畅转换的关键。大脑新皮质的生理结构，恰好也是这样的分层结构。库兹韦尔列举的大量研究成果证实，科学家对视觉皮质、嗅觉皮质的定向研究已经表明，在大脑皮质的分区、分层模型架构下，可以很好地解释外界感知、刺激—反应、联想、记忆等一系列生理—心理活动的内在机理。

2.1 人类大脑的特性

• 大脑的天赋

莫扎特5岁时就创作了小步舞曲，6岁时再维也纳金色大厅为Maria Theresa女王表演，45岁去世共创作了600部作品。他的音乐才能来自天赋还是后天培养，还是二者的结合目前还没有定论。不管是普通人还是天才，都可以借助对特定领域的定向培养，提升特定领域的技能，只是不同人提升的程序有所区别。

• 大脑的创造力

解落三秋叶，能开二月花，入江千尺浪，入竹万竿斜。 – 《风》 李乔

我国的唐诗宋词，短短几言，包含万种风情，集中体现了大脑无与伦比的创造力。大脑新皮质是一个伟大的隐喻机器，是我们成为唯一的创造性物种的原因。
获得更大创造力的有效方式是聚集更好的新皮质。团队解决问题时，持续专业化的头脑风暴，往往可以来自某一领域的隐喻却总能解决另一领域的问题。

• 大脑的爱情机制

性欲是淫荡的，爱情是抒情的 – 心理学家 John Willian Money

爱情是一个正常人的成人礼，坠入爱河时多巴胺被释放出来，制造了幸福和欢乐的感觉。人类的纺锤体细胞传递的高层级情感会受到知觉和认知区域的影响，所以我们听音乐或恋爱时不能理性控制自身反应的原因。纺锤体控制了我们的情商，爱情影响纺锤体的正常发挥。低等级哺乳动物没有纺锤体，也就没有像样的爱情了。

• 大脑的梦的机制

梦是人类发散思维的表征，大脑尝试对实际模式进行虚构的修补，假设出各种可能性。梦境时我们触发各种想法，清醒时我们压制各种想法。梦境能释放内心的压力，释放思想的束缚，扩展我们的欲望和恐惧。

2.2 人类大脑的特性

人类的大脑新皮质具有50万个皮质柱，每个皮质柱拥有6万个神经元，大脑新皮质具有300亿个神经元。皮质柱中每个模式识别器大约包含100个神经元，大脑新皮质具有3亿个模式识别器。

• 大脑模式识别的基本单元不是神经元而是神经元的集合，预计100个左右，被称为皮质柱。
• 大脑新皮质具有分层学习能力，大脑能创造和强化模式识别能力。
• 大脑的学习和识别是同时发生的。
• 大脑的模式识别器具有自联想和恒常性，自联想体现出冗余特性，恒常性体现在冗余和等价变换性。

2.3 人类大脑的分层特性

经典的数据分类任务包括: 数据的产生，数据的清洗，数据的处理，和数据的输出。人类拥有丰富的各类生物传感器并实时采集环境数据，利用眼、耳、舌、鼻、身各个官能产生视觉、听觉、触觉、嗅觉、味觉，来辅助我们弯沉的数据的采集任务。部分数据清洗任务是大脑完成的，但是部分数据清洗任务是其他身体部分完成的，数据清洗想一个严宽门，过滤掉多余的数据，降低了数据处理的负载。数据的处理和人类大脑的核心任务，人类大脑调用多种模式识别器处理数据任务，讲原始数据打乱重组，大脑会打破视觉、听觉、触觉、嗅觉、味觉的界限，颜色似乎会有温度，声音似乎会有形象，冷暖似乎会有重量，气味似乎会有锋芒”。中国古代诗词里就常常有“寂寞沙洲冷““艳静如拢月，香寒未逐风”“风随柳转声皆绿”这样的句子，直接把官能打通，互相置换，如将嗅觉兑换成温度，颜色换算成情绪值，剔除过渡的阐述性段落，造成动态的心理起伏。人类大脑处理数据的模式，是最近神经学家，人工智能科学家，哲学家等着迷的地方。数据处理完成之后，会产生动作的执行部分，大脑会将特定指令分发到人体的各个动作执行器官。 大脑处理数据过程包含了: 数据采集 -> 数据预处理 -> 数据处理 -> 执行输出 的完美链条。大脑的数据处理过程像个黑箱，我们始终不能理解他是怎么工作的。

1958年，计算科学家罗森布拉特(Rosenblatt)提出了由两层神经元组成的神经网络，并命名为感知器(Perceptron)。两层神经元模型过于简单，1971年人工智能领域的巨擘明斯基(Minsky)指出感知器对异或(XOR)这样的简单分类任务都无法解决。1986年，Rumelhar和Hinton提出了划时代的反向传播算法(Backpropagation，BP),该算法解决了两层神经网络所需要的复杂计算量问题。90年代中期，由Vapnik等人在多层感知机基础上提出了支持向量机算法(Support Vector Machines),该算法无需调参、高效率、全局最优解等。2000年后，Benjio，LeCun和Hinton三位大牛推动了多层卷积神经网络的发展，多层卷积神经网络衍生出多种变体模型，在各类测试场景中表现优异。上述发展体现了人工智能领域对大脑的数据处理过程的理论建模和工程实践。

大脑的数据处理过程是分层进行的，大脑的神经元数据处理的第一境界是: 识别数据的最基本特征(元特征)；大脑的神经元数据处理的第二境界是: 识别数据的中级特征(初级概念类特征)；大脑的神经元数据处理的第三境界是: 识别数据的高级特性(抽象概念类特征)。大脑的数据处理过程可以简化为: 数据输入层，初级隐藏层，中级隐藏层，高级隐藏层和数据输出层。每层包含若干神经元，同层神经元没有连接，神经元不能跨层连接，神经元只能与相邻层的神经元连接，连接还是有权重的。

同样在其他领域，同样存在类似的层次理论。

• 人类认知境界的分层: 王国维在《人间词话》中说：古今之成大事业、大学问者,必经三种之境界.‘昨夜西风凋碧树,独上西楼,望尽天涯路’.此第一境地；‘衣带渐宽终不悔,为伊消得人憔悴’,此为第二境地；‘众里寻他千百度,蓦然回首,那人却在灯火阑珊处’,此第三境也.”。
• 马斯洛需求层次理论: 美国心理学家亚伯拉罕·马斯洛在1943年在《人类激励理论》论文中所提出马斯洛需求层次理论，将人类需求像阶梯一样从低到高按层次分为五种，分别是：生理需求、安全需求、社交需求、尊重需求和自我实现需求。

3 视觉/图像的稀疏特性

我们使用眼睛观察周围环境，在某些情景中我们相当投入，比如和心爱的人在星巴克聊天喝咖啡，即使我们调用所有的脑细胞去记住每帧精美的画面，最后落入我们记忆中的却是关于我们视觉区兴趣点的轮廓和提示。我们大脑如何存储我们如此着迷的精美视频切片呢？加州大学伯克利分校的分子细胞生物学教授弗兰克.韦伯林(Frank S.Werblin)的研究表明：视觉神经携带10-12个输出通道，每个仅携带少量关于给定画面的信息，其中一组名为神经节细胞的只传送关于相反的边缘对比变化的信息；另一组只探测画面的均匀颜色；第三组只能检测焦点图像之后的背景信息。
Frank S.Werblin认为“尽管我们认为自己看透了世界，但是我们接收到的却只是提示，是空间和时间的边缘，这12副图像组成了我们对外界所知的所有信息，借助这12副图像，我们重构了丰富的视觉世界，我们非常好奇，大自然如何选择这12幅简单的影像以及他们如何做到为我们提供所需要的全部信息”。
这种数据简化就是人工智能领域的“稀疏编码”(Sparse Coding)。我们发现创建一个人工系统时发现，抛弃大多数输入信息，仅保留最显著的细节，却颇有成效。然后大脑皮质的加工信息的能力却被我们选择性忽略了。

图像稀疏特性的扩展思考:

• 扩展思考A: LeNet神经网络，底层模型表现出来的图像信号的稀疏性。
• 扩展思考B: H264编码中，底层模型表现出来的图像信号的稀疏性。

4 听觉/声音的稀疏特性

《人工智能的未来-P94》
Audience公司的创始人劳埃德.沃茨(Lloyd Watts)以及他的研究团队已经成功模拟了来自耳蜗的听觉信息穿过大脑皮质下区域，然后通过大脑皮质的早期特性这一过程，他们已经研发出声音中抽取600中不同的频带(60每频程)的技术。这与人类耳蜗内抽取3000频带的估计更加接近。

Audience已经研究出商用技术，这种技术可以有效的去除会话中背景杂音。

声音稀疏特性的扩展思考:

• 扩展思考A: RTSM循环神经网络，底层模型表现出来的声音信号的稀疏性。

5 脑模拟和人机合一

• 1997年，深蓝超级电脑(Deep Blue)凭借每秒2亿个棋盘的逻辑分析能力，以不对称优势击败国际象棋冠军加里.卡斯帕罗夫(Garry Kasparov).
• 沃森系统借助非结构化信息管理框架，支持几百个领域知识，在知名节目《危险边缘》表现惊艳，其系统的精髓是模式识别能力。
• 韩国九段棋手李世石与机器人之间的围棋大战，掀起人们对人工智能的关注热潮。

5.1 霍金的人机合一

霍金17岁就入读牛津大学攻读自然科学，他用了很短时间就得到了一等荣誉学位，随后转读剑桥大学研究宇宙学。1963年，21岁的他不幸被诊断患有肌肉萎缩性侧索硬化症（又称卢伽雷氏症）。这是一种无法治愈的致命疾病，病人会慢慢丧失运动能力，后期甚至因为呼吸肌和喉部肌肉麻痹而不能发音，并因而失语。当时医生判断霍金只能活两三年，然而他后来却坚强地一直活下来，但疾病使霍金的身体严重变形，头只能朝右边倾斜，肩膀左低右高，双手紧紧并在当中，握着手掌大小的拟声器键盘，两脚则朝内扭曲，嘴几乎歪成S形。

5.1.1 V1.0版本的智能轮椅

美国加利福尼亚州一位名叫瓦特·沃尔托兹的电脑工程师为霍金设计了一个名为“平等器”的电脑程序，其中的文本文件是Word 。这个程序可以让霍金从屏幕上选择词汇，只要他按动手中的开关选择词汇后，就会转入语音合成器，发出声音来。

5.1.2 V2.0版本的智能轮椅

2005年之后，霍金彻底丧失了运动能力——连手指都不能活动了，这让他以前操作轮椅上的电脑的方式完全失效。为此，英特尔的创始人戈登?摩尔（Gordon Moore）为他设计了2.0版的轮椅。
新版霍金轮椅主要通过眼动追踪、联想输入和语音合成器播放，来支持这位科学巨人与世界对话。

技术团队对霍金的设备进行了改造升级，研发了一个可供所有残障人士使用的交互系统工具包（辅助情境感知工具包，简称ACAT）。安装升级了这个开源项目后，霍金轮椅可谓升级到2.1版。虽然还是利用面部肌肉动作来操作电脑，但ACAT允许使用者通过几乎任何面部动作来进行交互操作。

5.1.3 V3.0版本的智能轮椅

2.1版的霍金轮椅或许在某一天就会因为主人病情的不幸加重而无法使用，因此，人机交流专家已经开始设计3.0版智能轮椅——也许这并非只是为霍金一个人而设计的，所有重度残障人都可能受益于此。最新版智能轮椅是基于喉部肌肉发音时的收缩和舒张来设计的。当人们说话时，大脑语言中枢会发出信号到喉咙，使喉咙的肌肉群协同收缩和舒张而发出声音。即使一个人说话不说出声，或者说出来的话只是自己能够听到，其喉部的肌肉群也仍然有运动。
换句话说，想要说出的话即使仅仅在大脑中，大脑也会产生指令，让喉咙肌肉群运动。根据这一原理，美国航空航天局艾姆斯研究中心研发了一项技术，不仅可以让残障人自主控制电动轮椅，而且能够将思想（想说的话）传送到语音合成器，让后者“说话”。

5.2 人机合一的福利

5.2.1 外挂模式

目前我们所使用的电脑和手机属于扩展了我们的记忆能力、计算能力和思考能力。目前的智能终端和可穿戴设备，嵌入式设备构成外挂模式的人机合一。

5.2.2 合一模式

美国大学生伯克.哈特5年前因潜水意外导致颈椎脊髓受损，四肢永久瘫痪。从2014年起，俄亥俄州神经中心的研究人员就开始设计一个植入伯克哈特大脑的芯片来让其思想控制运动。
这个植入脑部的芯片名为“神经生命”，它通过连接器与电脑相连。电脑使用特殊软件来解读大脑传来的信号后，发送指令给镶有130个电极的电子手袖套，以刺激手部肌肉，让伯克.哈特得以绕过脊髓，控制手部活动。

同样，如果把芯片植入大脑语言中枢，就可以在大脑想说什么话的时候通过人机指令让轮椅上的语音合成器说出来。只是，这需要向霍金的大脑语言中枢植入芯片。如果想用思想控制轮椅的运动，也得向大脑运动中枢植入芯片。当然，这种设想中的3.0版本轮椅目前还帮不到霍金，这首先是因为，霍金还不愿意在自己天才的大脑中植入芯片。

将智能设备植入大脑，大脑和智能设备双向交互控制，共同进化属于合一模式的人机合一。人机合一模式学术和产业界有个著名的脑机接口，各类科技狂人都在进行该类探索和研究，“脑机接口”是更高级的智能技术，即用思想来控制不能运动的四肢。

5.3 人类+机器=神

如果智能设备足够强大，人工智能技术的研究足够深入，脑机接口技术足够成熟，那么会出现人和机器合一的状态。进而产生具有人类思考的机器和具有人工智能的人类，衍生出强化人的应用场景。

5.4 终极Boss

中国的BAT和美国的GFA为代表的互联网巨头，希望利用技术优势，研发终极算法部署在云上，实现对全人类的终极统治，构成终极Boss模式。中心化或去中心化的浪潮中，谁是谁的终结者，谁是谁的救世主，让时间告诉你吧。

系列文章

• 机器学习原理与实践(开源图书)-总目录
• 深度学习原理与实践(开源图书)-总目录
• Github: 机器学习&深度学习理论与实践(开源图书)

参考文献

• [1] Ian Goodfellow, Yoshua Bengio. Deep Learning. MIT Press. 2016.
• [2] 焦李成等. 深度学习、优化与识别. 清华大学出版社. 2017.
• [3] 佩德罗·多明戈斯. 终极算法-机器学习和人工智能如何重塑世界. 中信出版社. 2018.
• [4] 雷.库兹韦尔. 人工智能的未来-揭示人类思维的奥秘. 浙江人民出版社. 2016.