【阅读笔记】《深度学习》第一章：引言

前言

深度学习（deep learning）作为深度学习领域的殿堂级作品，囊括了数学领域包括线性代数、概率论、信息论等知识，以及机器学习中的相关内容，同时还介绍了工业界实践者用到的深度学习技术，是深度学习领域最为全面、权威的著作，笔者对于这本书早有耳闻，但是因为其内容充实、数学公式较多一直未敢涉足，借这个夏天的空闲时光，拜读这部作品，希望有所收获。本篇博客内容涉及花书第一章内容，主要引出深度学习的概念以及介绍深度学习的发展史。

---

引言

人工智能

• 优势：通过一系列形式化的数学规则描述问题。
• 劣势：难以解决对人来说容易，但很难形式化描述的任务，如说的话、图像中的人脸。

解决方法：

• 让计算机从经验中学习。
• 根据层次化概念体系理解世界。

人工智能的关键挑战： 如何将非形式化知识传达给计算机。

解决历程：

• 将知识硬编码，即人工智能知识库方法（方法笨拙，没有自己获取知识的能力）。
• 从原始数据中提取模式的能力——机器学习，性能依赖于给定数据的表示（即特征，但是提取什么特征是问题）。
• 使用机器学习发掘表示本身，而不仅仅把表示映射到输出，方法称为表示学习 （如编码器和解码器组成的自编码器）。

变差因素：设计特征或者设计学习特征的算法时的目标，隐私代指影响的不同来源，这些因素通常无法直接观察，但是影响可观测的量（即target或label）。

表示学习的劣势：

• 多个变差因素同时影响观察到的每个数据。
• 从原始数据提取高层次、抽象的特征是困难的。

深度学习通过其他较简单的表示来表示复杂表示，解决了表示学习中的核心问题。

下图展示了深度学习系统如何通过组合较简单的概念（如角和轮廓）来表示图像中的物体的概念。

两种度量模型深度的方式：

• 基于评估架构所需执行的顺序指令的数目。可以将计算对应流程图的最长路径视为模型的深度。
• 将描述概念彼此如何关联的图的深度视为模型深度。比如脸部图像中的脸层和眼睛层。

对深度学习的概括：通向人工智能的途径之一，是机器学习的一种，能够使计算机系统从经验和数据中得到提高的技术。

不同AI学科之间的关系：

1. 本书面向的读者

适用人群： 学习机器学习的学生和研究人员，以及没有相关背景但希望快速掌握适用技巧的工程师。
本书框架组织： 基本的数学工具和机器学习概念、成熟的深度学习算法、未来展望。

书籍高层组织结构流程图：

2. 深度学习的历史趋势

深度学习发展的原因：

• 训练数据的不断增加
• 针对深度学习的计算机软硬件基础有所改善

2.1 神经网络的众多名称和命运变迁

3次发展浪潮：

1. 20世纪40年代——60年代，雏形出现在控制论（第一次神经网络研究浪潮）中，出现自适应线性单元ADALINE，使用随机梯度下降方法。
2. 20世纪80年代——90年代，表示为联结主义。出现的相关概念包括分布式表示，反向传播算法。
3. 2006年，以深度学习之名复兴。研究方向开始着眼无监督学习和小样本学习。

前两次衰退原因：

1. 线性模型局限性，无法学习异或函数。
2. 创业公式野心勃勃但不切实际，同时核方法和图模型取得了很好效果。

2.2 与日俱增的数据量

上图为数据集大小随着时间的推移而显著增加。

原因：使用计算机频繁——>记录数据增多——>机器互联易于管理数据——>大数据时代到来

2.3 与日俱增的模型规模

更快的CPU、通用GPU、更快的网络连接和更好的分布式计算的软件基础设施，是深度学习的历史趋势。

2.4 与日俱增的精度、复杂度和对现实世界的冲击

ImageNet大型视觉识别挑战比赛的错误率变化。

深度学习随机网络规模和精度的提高，可以解决日益复杂的任务，这一复杂性增加的趋势推向了逻辑结论——神经图灵机，它能学习读取存储单元和项存储单元中写入任意内容。

深度学习另一成就为强化学习。在没有人类操作者指导下，通过试错学习执行的任务。

阅读总结

第一章内容对深度学习的历史和深度学习的发展及原因进行了高度的总结与概括，其中详细介绍了深度学习三次浪潮，并对深度学习未来的发展进行了展望。
于我而言，由于本身具备了深度学习相关的理论基础，所以理解起来并不困难，但是第一章所提及的生物学基础，脑神经科学相关的知识，给了我不少的启发，神经网络本身就是最简单最基础的模拟人脑中神经元的堆叠，但是并没有涉及相关的科学基础，因为真正深入研究，神经元之间的“激活函数”更为复杂，所以如果有朝一日，人类能够参透人脑中神经元之间的秘密，那么真正的AI就不远了。