读写给大家的AI极简史笔记03深度学习

1. 人工大脑

1.1. 语言学习模型

1.1.1. 1986年，美国心理学家大卫·鲁梅尔哈特（David Rumelhart）和詹姆斯·麦克莱兰（James McClelland）提出了一个语言学习模型

1.1.2. 它学习语言的方式无异于儿童

1.2. 科学家们没有教系统任何规则，而是让计算机自己总结出现在时态动词改为过去时态的标准模式

1.2.1. 计算机必须尝试各种选项，然后接收有关其解决方案和其他作为示例的动词的反馈，但是不会明确地接收到正确的解决方案

1.3. 计算机能够自己识别并完成分配给它的任务的规则和模式

1.3.1. 经过200轮以后，它掌握了鲁梅哈德和麦克利兰设定的全部420个动词

1.3.2. 区区420个动词，如果采用手动编程，计算机很快就能得到所有答案

1.3.3. 计算机应该通过比较和反馈习得学习方法，这正是“机器学习”的目标

1.4. 人类通过学习变得聪明

1.4.1. 如果机器能像人类一样学习，那么机器也可以变得很聪明

1.4.2. 早在20世纪60年代的第一个乐观阶段，人工智能研究人员就做出了这个猜想，但猜想随后很快就破灭了

1.4.2.1. 我们几乎不可能制造出一个能复制人类大脑内部学习过程的人造大脑

1.5. 人脑是由进化产生的最复杂的结构

1.5.1. 它由大约860亿个被称为神经元的神经细胞组成

1.5.2. 平均每个神经元与其他神经元之间的连接超过1000个

1.5.2.1. 这些连接称为突触

1.5.3. 神经元和突触共同形成了一个复杂程度令人难以想象的网络

1.5.3.1. 这个网络不仅可以存储信息，还可以使用电脉冲和生化信使来检索信息

1.5.3.2. 神经元只在特定时间段内，在达到一定阈值时才将信息——或者更准确地说，电脉冲——传递给下一个细胞，否则神经元就会断开连接

1.6. 人脑通过联想、连接来学习字面意义

1.6.1. 连接被激活得越频繁，大脑就越能巩固所学的知识

1.7. 进化可以使成人大脑中所有神经通路的长度总和达到数万英里，但总体积不到1.5升

1.7.1. 直至今日，我们还远远无法去设想如何构建一个具有类似人脑多功能特性和相对低能耗的人工大脑

1.7.2. 但是现在的机器已经能在一个方面做得很好，那就是使用数学和统计学来模拟大脑的联想学习过程，也就是把口语、图像、写作和许多附加信息联系起来的过程

2. 图形卡片

2.1. 对于机器的人类训练师来说，最重要的辅助工具是人工神经网络（ANN）

2.2. 这种方法的使用由于某些原因经历了很长时间的停滞

2.2.1. 原因之一就是缺乏能够在许多节点上足够快速地执行大量计算任务的计算机

2.3. 图形处理单元（GPU）

2.3.1. 新的并行处理器

2.3.2. GPU实际上是为三维计算机游戏的图形卡片而开发的，被调整后用于机器学习

2.4. 深度学习

2.4.1. deep learning

2.4.2. 在理想的场景中，人工智能系统会自己从已学的知识中生成一些数据，也就是会深度学习

2.4.2.1. 人类把围棋规则作为显性知识提供给阿尔法狗

2.4.2.2. 数据科学家将历史上许多比赛和标准情境加载到系统的记忆中，让它从中学习基本的游戏技能

2.4.2.2.1. 这只够创造出一个最好的业余玩家

2.4.2.3. 阿尔法狗最终打败人类成为世界冠军是因为它与自己下了数以百万局的棋

2.4.2.4. 随着每一手棋和每一个对策，它创建了越来越多的数据点，可以在其人工神经网络的节点中进行加权

2.5. 人工神经网络和深度学习过程并不像大家通常假设的那样——复制人脑的神经通路和电子传导通路

2.5.1. 它们更像是统计的过程

2.5.2. 在这个过程中，计算机系统通过用层层分布的节点来模拟神经细胞

3. 反馈创造数据垄断

3.1. 不试过，你永远不会知道

3.1.1. 和人一样，只有当计算机系统认识到它的尝试的成败时，这个尝试才有意义

3.2. 反馈数据在计算机学习系统中起着决定性的作用

3.2.1. 学习系统是否找到了正确的电话号码

3.2.2. 是否计算出了最佳路线

3.2.3. 从照片中正确诊断出了皮肤状况

3.3. 计算机接收的反馈越频繁、越精确，它就学习得越快、越好

3.4. 反馈是各种机械自动控制方法的技术核心

3.4.1. 20世纪40年代，美国数学家诺伯特·维纳（Norbert Wiener）为控制论奠定了理论基础

3.4.2. 每一个技术系统都可以通过反馈数据，根据其目标进行控制和重新定向

3.4.3. 最早的控制论系统之一是来自于美国陆军的自动火箭防御系统

3.4.3.1. 它就会通过连续的反馈回路传递给防空炮关于敌方导弹位置的信息，并预先计算其未来飞行路径

3.4.3.2. 防空炮则根据连续的反馈信号瞄准导弹，然后在恰到好处的时刻开火

3.5. 反馈回路的应用不只局限于军事创新

3.5.1. 没有反馈回路，阿波罗登月计划将永远只是梦想，喷气式客机也不可能安全地飞越大西洋，也不会有喷射泵给活塞恰到好处地供给汽油，电梯门也不会在人腿被卡住的时候自动打开

3.5.2. 反馈回路在人工智能领域的价值是无可比拟的

3.5.2.1. 它们是发展人工智能最重要的原材料

3.6. 当我们接受谷歌的一个建议时，我们就创建了额外的反馈数据

3.7. 亚马逊通过反馈数据来优化其推荐算法

3.8. 脸书对用户在其时间线上看到的帖子也进行同样的优化

3.9. 数据帮助贝宝（Pay Pal）以更高的准确性预测付款是否具有欺诈性

3.9.1. 有关欺诈性取款的反馈往往非常激烈

3.10. 在人工智能时代，所有反馈数据的总和具有与工业时期大规模生产的规模经济和过去25年数字经济的网络效应类似的效果

3.11. 网络效应意味着，平台每增加一个用户，它对用户的吸引力就变得更大

3.11.1. 运行安卓操作系统的智能手机越多，开发者为安卓开发应用程序的动力也就越大，而这又反过来提高了操作系统对用户的吸引力

4. 反馈数据

4.1. 对于人工智能来说，越多人向机器提供反馈数据，系统就会变得更加智能

4.2. 反馈数据是智能技术学习过程的核心

4.3. 数字反馈将使自主驾驶系统、翻译程序和图像识别的商业应用成为可能

4.4. 反馈数据将会让立法者相当头痛

4.4.1. 如果他们不采取新的措施来应对这个局面，反馈数据的长期积累将几乎不可避免地导致数据垄断

4.5. 最受欢迎的产品和服务将由于不断获得反馈数据而得以快速升级

4.6. 机器学习在某种程度上将嵌入这些产品中，这意味着新的进入者极少有机会对抗以人工智能驱动经济的头部公司

4.6.1. 自我完善的技术会阻碍竞争