《深度学习》读书笔记：第1章 引言

第1章 引言

人工智能已经成为一个具有众多实际应用和活跃研究课题的领域，并且正在蓬勃发展。在人工智能的早期，那些对人类智力来说非常困难，但对计算机来说相对简单的问题得到迅速解决，比如，那些可以通过一系列形式化的数学规则来描述的问题。

人工智能的真正挑战在于解决那些对人类来说很容易执行，但很难形式化描述的任务，如识别人们所说的话或图像中的脸。对于这些问题，我们人类往往可以凭借直觉轻易地解决。

针对这些比较直观的问题，本书讨论一种解决方案，该方案可以让计算机从经验中学习，并根据层次化的概念体系来理解世界，而每个概念则通过与某些相对简单的概念之间的关系来定义。让计算机从经验获取知识，可以避免由人类来给计算机形式化地指定它需要的所有知识。层次化的概念让计算机构建较简单的概念来学习复杂概念。如果绘制出表达这些概念如何建立在彼此之上的图，我们将得到一张“深”（层次很多）的图。基于这个原因，我们称这种方法为AI深度学习。

一个人的日常生活需要关于世界的巨量知识，很多这方面的知识是主观地、直观的，因此很难通过形式化的方式表达清楚。计算机需要获取同样的知识才能表现出智能，人工智能的一个关键挑战就是如何将这些非形式化的知识传达给计算机。

一些人工智能项目力求将关于世界的知识用形式化的语言进行硬编码，计算机可以使用逻辑推理规则来自动地理解这些形式化语言中的声明，这就是众所周知的人工智能的知识库方法。依靠硬编码的知识体系面临的困难表明，AI系统需要具备自己获取知识的能力，即从原始数据中提取模式的能力，这种能力称为机器学习。引入机器学习使计算机能够解决涉及现实世界知识的问题，并能做出看似主观的决策。

许多人工智能任务都可以通过以下方式解决：先提取一个合适的特征集，然后将这些特征提供给简单的机器学习算法。然而，对于许多任务来说，我们很难知道应该提取哪些特征。

解决这个问题的途径之一是使用机器学习来发掘表示本身，而不仅仅把表示映射到输出。这种方法我们称之为表示学习。学习到的表示往往比手动设计的表示表现得更好，并且它们只需最少的人工干预，就能让AI系统迅速适应新的任务。

表示学习算法的典型例子是自编码器。自编码器由一个编码器函数和一个解码器函数组合而成。编码器函数将输入数据转换为一种不同的表示，而解码器函数则将这个新的表示转换回原来的形式。我们期望当输入数据经过编码器和解码器之后尽可能多地保留信息，同时希望新的表示有各种好的特性。

当设计特征或设计用于学习特征的算法时，我们的目标通常是分离出能解释观察数据的变差因素。在许多现实的人工智能应用中，困难主要源于多个变差因素同时影响着我们能够观察到的每一个数据，大多数应用需要我们理清变差因素并忽略我们不关心的因素。

深度学习通过其他较简单的表示来表达复杂表示，解决了表示学习中的核心问题。深度学习让计算机通过较简单的概念构建复杂的概念。学习数据的正确表示的想法是解释深度学习的一个视角，另一个视角是深度促使计算机学习一个多步骤的计算机程序。

计算机难以理解原始感观输入数据的含义，如表示为像素值集合的图像。将一组像素映射到对象标识的函数非常复杂，如果直接处理，学习或评估此映射似乎是不可能的。深度学习将所需的复杂映射分解为一系列嵌套的简单映射（每个由模型的不同层描述）来解决这一难题。输入展示在可见层，这样命名的原因是因为它包含我们能观察到的变量。然后是一系列从图像中提取越来越多抽象特征的隐藏层，因为它们的值不在数据中给出，所以将这些层称为“隐藏层”；模型必须确定哪些概念有利于解释观察数据中的关系。

目前主要有两种度量模型深度的方式。一种方式是基于评估架构所需执行的顺序指令的数目。假设我们将模型表示为给定输入后，计算对应输出的流程图，则可以将这张流程图中的最长路径视为模型的深度。另一种是在深度概念模型中使用的方法，它不是将计算图的深度视为模型深度，而是将描述概念彼此如何关联的图视为模型深度，在这种情况下，计算每个概念表示的计算流程图的深度可能比概念本身的图更深。

由于并不总是清楚计算图的深度和概率模型图的深度哪一个是最有意义的，并且由于不同的人选择不同的最小元素集来构建相应的图，所以就像计算机程序的长度不存在单一的正确值一样，架构的深度也不存在单一的正确值。另外，也不存在模型多么深才能被修饰为“深”的共识。

深度学习是通向人工智能的途径之一，它是机器学习的一种，一种能够使计算机系统从经验和数据中得到提高的技术。它是一种特定类型的机器学习，具有强大的能力和灵活性，它将大千世界表示为嵌套的层次概念体系（由较简单概念间的联系定义复杂概念、从一般抽象概括到高级抽象表示）。

由于我们的活动越来越多地发生在计算机上，我们做什么也越来越多地被记录。由于计算机越来越多地联网在一起，这些记录变得更容易集中管理，并更容易将它们整理成适于机器学习应用的数据集。因为统计估计的主要负担（观察少量数据以在新数据上泛化）已经减轻，“大数据”时代使机器学习更加容易。此外，在更小的数据集上获得成功是一个重要的研究领域，为此我们应特别侧重于如何通过无监督或半监督学习充分利用大量的未标注样本。

深度学习是机器学习的一种方法，在过去几十年的发展中，它大量借鉴了我们关于人脑、统计学和应用数学的知识。近年来，得益于更强大的计算机、更大的数据集和能够训练更深网络的技术，深度学习的普及性和实用性都有了极大的发展。未来几年，深度学习更是充满了进一步提高并应用到新领域的挑战和机遇。