DeepLearning深度学习（花书）读书笔记——引言

第1章 引言

1、什么是深度学习

  人工智能的真正挑战在于解决那些以人来说很容易执行，但很难形式化描述的任务。针对这些比较直观的问题，要以让计算机从经验中学习，并根据层次化的概念体系来理解世界，而每个概念则通过与某些相对简单的概念之间的关系来定义。
  层次化的概念让计算机构建比较简单的概念来学习复杂的概念，如果绘制出表示这些概念如何建立在彼此之上的图，我们将得到一张“深”（层次很多）的图。我们称这种方法为AI深度学习。

  AI许多早期的成功发生在相对朴素且形式化的环境中，而且不要求计算机具备许多关于世界的知识。抽象和形式化的任务对人类而言是最困难的脑力任务之一，但对计算机而言却属于最容易的。但一个人的日常生活需要关于世界的巨量知识，很多这方面的知识是主观的、直观的，因此很难通过形式化的方式表达清楚。人工智能的一个关键挑战就是如何将这些非形式化的知识传达给计算机。
  一些人工智能项目力求将关于世界的知识用形式化的语言进行硬编码（hard-code）。计算机可以使用逻辑推理规则来自动地理解这些形式化的语言中的声明。这就是人工智能的知识库方法。然而，这些项目最终都没有取得重大的成功。
  依靠硬编码的知识体系面临的困难表明，AI系统需要具备自己获取知识的能力。即从原始数据中提取模式的能力，这种能力被称为机器学习。这些简单的机器学习算法的性能在很大程度上依赖于给定数据的表示（representation）。表示的选择会对机器学习算法的性能产生巨大的影响。表示数据集的每条信息称为特征，机器学习算法就是学习这些特征如何与各种结果相关联。
  许多人工智能任务都可以通过以下方式解决：先提取一个合适的特征集，然后将这些特征提供给简单的机器学习算法。然而，对于许多任务来说，很难知道应该提取哪些特征。解决这个问题的途径之一是使用机器学习来发掘表示本身，而不仅仅把表示映射到输出。这种方法我们称之为表示学习。

  当设计特征或者设计用于学习特征的算法时，我们的目标通常是分离出能解释观察数据的变差因素(factors of variation)。在此背景下，“因素”这个词仅指代影响的不同来源；因素通常不是乘性组合。这些因素通常是不能被观察到的量。在许多现实的人工智能应用中，困难主要源于多个变差因素同时影响着我们能够观察到的每一个数据。大多数应用需要我们理清变差因素并忽略我们不关心的因素。显然，从原始数据中提取如此高层次、抽象的特征是非常困难的这几乎与获得原问题的表示一样困难。因此，乍一看，表示学习似乎并不能带来帮助。

  深度学习通过其它较简单的表示来表达复杂的表示，解决了表示学习中的核心问题。深度学习让计算机通过较简单的概念构建复杂的概念。

“学习数据的正确表示的想法是解释深度学习的一个视角。另一个视角是深度促使计算机学习一个多步骤的计算机程序。每一层表示都可以被认为是并行执行另一组指令之后，计算机的存储器状态。更深的网络可以按顺序执行更多的指令。顺序指令提供了极大的能力，因为后面的指令可以参考早期指令的结果。从这个角度上看，在某层激活函数里，并非所有信息都蕴含着解释输入的变差因素。表示还存储着状态信息，用于帮助程序理解输入。这里的状态信息类似于传统计算机程序中的计数器或指针。它与具体的输入内容无关，但有且于模型组织其处理过程。”

  目前主要有两种度量模型深度的方式。一种方式是基于评估架构所需执行的顺序指令的数目；另一种是在深度概率模型中使用的方法，将描述概念彼此如何关联的图的深度视为模型深度。模型架构的深度不存在单一的正确值。另外，也不存在模型多么深才能被修饰为“深”的共识。但相比传统机器学习，深度学习研究的模型涉及更多学到功能或学到概念的组合。

  总之，深度学习是通向人工智能的途径之一。深度学习是机器学习的一种，一种能够使计算机系统从经验和数据中得到提高的技术。深度学习是一种特征的机器学习，它将大千世界表示为嵌套的层次概念体系（由较简单概念间的联系定义复杂概念，从一般抽象概括到高级抽象表示）。

下面的维恩图表示了深度学习与AI不同学科的关系

下面的流程图展示了每个学科的工作原理，阴影框表示能从数据中学习的组件。

2、本书面向的读者

  本书主要为两类受众而写：一类是学习机器学习的学生或研究人员；另一类是没有机器学习或统计背景，但希望快速掌握这方面知识，并使用深度学习的软件工程师。
  本书分为三个部分。第1部分介绍基本的数学工具和机器学习的概念。第2部分介绍最成熟的深度学习算法，这些技术基本上已经得到解决。第3部分讨论某些具有展望性的想法，它们被广泛地认为是深度学习未来研究的重点。

下图给出了本书高层组织结构的流程图。

3、深度学习的历史趋势

• 深度学习有着悠久而丰富的历史，但随着许多不同哲学观点的渐渐消逝，与之对应的名称也渐渐尘封。
• 随着可用的训练数据量不断增加，深度学习变得更加有用。
• 随着时间的推移，针对深度学习的计算机软硬件基础设施都有所改善，深度学习模型的规模也随之增长。
• 随着时间的推移，深度学习已经解决日益复杂的应用，并且精度不断提高。

神经网络的众多名称和命运变迁

  迄今为止，深度学习已经经历了3次发展浪潮：20世纪40年代到60年代，深度学习的雏形出现在控制论（cybernetics）中；20世纪80年代到90年代，深度学习表现为联结主义（connectionism）；直到2006年，才真正以深度学习之名复兴。
  第一次浪潮中，深度学习旨在模拟生物学习的计算模型，即大脑怎样学习或为什么能学习的模型。受此启发，而设计出神经元线性模型，但由于线性模型无法学习异或函数的局限性，最终以人工神经网络之名而淡去。但这个时期出现的随机梯度下降算法，仍然是当今深度学习的主要训练算法。线性模型也是目前最广泛使用的机器学习模型。
  第二次浪潮在很大程序上是伴随着一个被称为联结主义或并行分布处理潮流而出现的。联结主义的中心思想是，当网络将大量简单的计算单元连接在一起时可以实现智能行为。这个时期，神经科学已不再是深度学习领域的主要指导，而是从许多领域获得灵感，特别是应用数学的基本内容。在这次浪潮中出现的分布式表示和长短期记忆等概念在今天的深度学习中仍然是非常重要的。最重要的是分布式表示，其思想是：系统的每一个输入都应该由多个特征表示，并且每一个特征都应该参与到多个可能输入的表示。这个概念成为了深度学习的核心。最终，由于神经网络研究不能实现投资者的不合理的期望，同时，机器学习在其它领域取得了进步，导致了第二次浪潮的衰退。
  第三次浪潮始于2006年的突破，一种名为“深度信念网络”的神经网络可以使用一种称为“贪婪逐层预训练”的策略来有效地训练。同样的策略可以被用来训练许多其它类型的深度网络，并能系统的帮助提高在测试样例上的泛化能力。神经网络研究的这一次浪潮普及了“深度学习”这一术语，强调研究者现在有能力训练以前不可能训练的比较深的神经网络，并着力于深度的理论的重要性上。神经网络的第三次发展浪潮至今仍在继续，这次浪潮已开始着眼于新的无监督学习技术和深度模型在小数据集的泛化能力，但目前更多的兴趣点仍是比较传统的监督学习算法和深度模型充分利用大型标注数据集的能力。

与日俱增的数据量

  既然人工神经网络的第一个实验在20世纪50年代就完成了，但直到21世纪，深度学习才被认为是关键技术。其中一个重要原因在于训练时采用的数据量的增加，使得训练所需的技巧正在减少。“大数据”时代使机器学习变得更加容易。
  一个粗略的的经验法则是，监督深度学习算法在每类给定约5000个标注样本情况下一般将达到可以接受的性能，当至少有1000万个标注样本的数据集用于训练时，它将达到或超过人类表现。

与日俱增的模型规模

  神经网络取得成功的另一个重要原因是现在拥有的计算资源可以运行更大的模型。联结主义的主要见解之一是，当动物的许多神经元一起工作时会变得聪明，单独的神经元或小集合的神经元不是特别有用。
  生物神经元不是特别稠密地连接在一起。现有机器学习模型中，每个神经元的连接数量已经与哺乳动物的大脑在同一数量级上。但就神经元的总数目而言，现在的网络比相对原始的脊椎动物的神经系统还要小。根据现在的增长速度（每2.4年扩大一倍），除非有能力扩展新技术，否则至少要到21世纪50年代，人工神经网络才能具备与人脑相同的神经元。而生物神经元表示的功能或能比目前人工神经元所表示的更复杂。

与日俱增的精度、复杂度和对现实世界的冲击

  随着软硬件技术的发展，深度学习提供精确识别和预测的能力一直在提高，并持续成功的应用于越来越广泛的实际问题中。甚至在某些应用上已经超越了人类的表现。
  深度学习的另一个最大的成就是其在强化学习领域的扩展。一个自主的智能体必须在没有人类操作者指导的情况下，通过试错来学习执行任务。

  总之，深度学习是机器学习的一种方法。在过去几十年的发展中，它大量借鉴了关于人脑、统计学和应用数学的知识。近年来，得益于更强大的计算机、更大的数据集和能够训练更深网络的技术，深度学习的普及性和实用性都有了极大的发展。

4、个人感悟

  本章引言讲解了什么是深度学习及其发展历程，介绍了本书的受众的章节内容及划分。其中，最重要的是通过本章理解深度学习到底是什么。
  深度学习是人工智能研究领域中的一个子学科，是为了解决人工智能在学习非形式化知识时遇到的困难，经历历代技术的逐步发展而出现的。从最初的硬编码到表示学习、再到机器学习、最终发展到深度学习，通过“层次化的概念让计算机构建比较简单的概念来学习复杂的概念”，使得人工智能可以学习非形式化的知识从而理解这个世界。

  在本章的讲解中，一个比较重要的概念是“表示”，它贯穿了整个介绍部分。对这个词的理解是否准确，直接影响了对深度学习的理解。它的英文原文是“representation”，翻译过来后，用了“表示”这个词来表达这个概念。但由于中英文文化的差异，这样翻译感觉并不能很好的解释原文想要表达的含义，从而造成在阅读中文时，理解上的困难。
  英文原文是“the representation of the data”，翻译过来后是“数据的表示”。个人感觉原文的意思应该是数据的描述、表现、描绘，表现形式等，即数据用什么方式来说明数据有哪些特点，包含了哪些信息。可以从后面的示例中帮助理解：当AI被用于判断孕妇是否要剖腹产时，程序并不是直接检查患者或者看仪器结果，而是输入通过医生诊断结论给出的患者信息来进行判断。即此时用来表示患者的数据是医生的结论，而不是仪器结果。这些描述患者数据的每一条信息也被称为特征(Each piece of information included in the representation of the patient is known as a feature)。

  representation，在牛津词典中的解释是：

noun 名词

1 [U, C] 表现；描述；描绘；表现形式
2 [U] 有代理人；代表；维护；支持
3 representations [pl.] (formal, especially BrE) 陈述；抗议