【深度学习】学习历程（一）绪论

学习【深度学习】一书笔记!
**人工智能**的*真正挑战*在于解决那些对人来说很容易执行、但很难形式化描述的任务，如识别人们所说的话或图像中的脸。对于这些问题，我们人类往往可以凭借直觉轻易地解决。
本书讨论的方案，该方案可以让计算机从经验中学习，并根据**层次化的概念体系**来理解世界，而每个概念则通过与某些相对简单的概念之间的关系来定义。让计算机从经验获取知识，可以避免由人类来给计算机形式化地指定它需要的所有知识。层次化的概念让计算机构建较简单的概念来学习复杂的概念。如果绘制出表示这些概念如何建立在彼此之上的图，我们将得到一张“深”（层次很多）的图。基于这个原因，我们称这种方法为**AI深度学习（deep learning）。**
人工智能的一个关键挑战就是如何将这些**非形式化的知识**传达给计算机。
**机器学习（machine learning）**：从原始数据中提取模式的能力。其算法性能很大程度上依赖于给定**数据的表示**。表示的选择会对机器学习算法的性能产生巨大的影响。
**表示学习（representation learning）**：使机器学习来**发掘表示本身**，而不仅仅把表示映射到输出。如自编码器（autoencoder），由一个编码器（encoder）函数和一个解码器（decoder）函数组合而成。
当设计特征或设计用于学习特征的算法时，我们的目标通常是分离出能解释观察数据的**变差因素（factors of variation）**。在此背景下，“因素”这个词指代影响的不同来源：因素通常不是乘性组合。这些因素通常是不能被直接观测到的量。相反，它们可能是现实世界中观察不到的物体或不可观测的力，但会影响可观测的量。为了对观察到的数据提供有用的简化解释或推断其原因，它们还可能**以概念的形式**存在于人类的思维中。它们可以被看作**数据的概念或抽象**，帮助我们了解这些数据的丰富多样性。
在许多现实的人工智能应用中，困难主要源于多个变差因素同时影响着我们能够观察到的每一个数据。大多数应用需要我们*理清变差因素并忽略我们不关心的因素*。
深度学习（deep learning）通过其他较简单的表示来表达复杂表示。让计算机通过较简单的概念来构建复杂的概念。
学习数据的正确表示的想法是解释深度学习的一个视角。另一个视角是深度促使计算机学习一个多步骤的计算机程序。
两种度量模型深度的方式。一种是基于评估架构所需执行的顺序指令的数目。另一种是在深度概率模型中使用的方法，它不是将计算图的深度视为模型深度，而是将描述概念彼此如何关联的图的深度视为模型深度。