《深度学习》 第1章 引言

《深度学习》 第1章 引言

AI深度学习：
让计算机从经验中学习，并根据层次化的概念体系来理解世界，每个概念则通过于某些更简单的概念之间的关系来定义。

知识库：
将世界的知识用形式化的语言进行硬编码

机器学习：
系统自己获取知识，即从原始数据中提取模式的能力

简单机器学习的性能很大程度依赖于给定数据的表示

表示学习：
使用机器学习发掘表示本身

设计特征或设计相应算法时，通常以分离能解释观察数据的变差因素为目标

深度学习通过其他较简单的表示来表达复杂表示，解决了表示学习中的核心问题

解释深度学习的视角：

• 学习数据的正确表示
• 深度促进计算机学习一个多步骤的计算机程序

度量模型深度的方式：

• 评估架构所需执行的顺序指令的数目
• 描述概念彼此如何关联的图的深度

深度学习是一种特定类型的机器学习，具有强大的能力和灵活性，它将大千世界表示为嵌套的层次概念体系（由较简单概念间的联系定义为复杂概念，从一般抽象概括到抽象表示）

本书面向的读者

1. 学习机器学习的大学生
2. 没有基础的想入门的软件工程师

书分三部：

1. 基础概念
2. 成熟算法
3. 展望想法

深度学习的历史趋势

神经网络的众多名称和命运变迁

神经科学已经给了我们依靠单一深度学习算法解决许多不同任务的理由。如果将雪貂的大脑重新连接，使视觉信号传送到听觉区域，它们可以学会用听觉处理区域去“看”。这暗示着大多数哺乳动物的大脑使用单一算法就可以解决其大脑可以解决的大部分不同任务。

三次发展浪潮：

1. 控制论（20世纪40年代～60年代）
2. 联结主义（20世纪80年代～90年代）
3. 深度学习（2006年～）

控制论浪潮：

简单线性模型被设计为使用$n$个输入$x_1,\dots ,x_n$，学习一组权重$w_1,\dots ,w_n$，并计算输出$f(x,w)=x_1{w}_1+\dots +w_n{x}_n$。

联结主义浪潮：

中心思想是当网络将大量简单的计算单元连接在一起时可以实现智能行为

分布式表示：系统的每一个输入都应该由多个特征表示，并且每一个特征都应该参与到多个可能的输入的表示。

反向传播算法的成功使用和普及

深度学习浪潮：

2006年的突破。Hinton表明深度信念网络可以使用贪婪逐层预训练的策略来有效训练。

与日俱增的数据量

人们的活动越来越多发生在计算机上。

与日俱增的模型规模

现在神经网络成功的原因之一是现在拥有的计算资源可以运行更大的模型。

大约每2.4年扩大一倍。

与日俱增的精度、复杂度和对现实世界的冲击

• 图像识别
• 语音识别
• 行人检测和图像分割
• 机器翻译
• 强化学习
• …