第一章：什么是深度学习

人工智能、机器学习与深度学习

定义

• 人工智能
  努力将通常由人类完成的智力任务自动化

• 机器学习
  在预先定义好的可能性空间中，利用反馈信号的指引来寻找输入数据的有用表示。
  利用机器学习，人们输入的是数据和从这些数据中预期得到的答案，系统输出的是规则。这些规则随后可应用于新的数据，并使计算机自主生成答案。

• 深度学习
  深度学习是机器学习的一个分支领域：它是从数据中学习表示的一种新方法，强调从连续的层（layer）中进行学习，这些层对应于越来越有意义的表示。“深度学习”中的“深度”指的并不是利用这种方法所获取的更深层次的理解，而是指一系列连续的表示层。数据模型中包含多少层，这被称为模型的深度（depth）。
  深度学习中，这些分层表示几乎总是通过叫作神经网络（neural network）的模型来学习得到的。

深度学习基本概念

神经网络中每层对输入数据所做的具体操作保存在该层的权重(weight）中，其本质是一串数字。用术语来说，每层实现的变换由其权重来参数化。权重有时也被称为该层的参数。在这种语境下，学习的意思是为神经网络的所有层找到一组权重值，使得该网络能够将每个示例输入与其目标正确地一一对应。
想要控制神经网络的输出，就需要能够衡量该输出与预期值之间的距离。这是神经网络损失函数 （loss function）的任务，该函数也叫目标函数（objective function）。损失函数的输入是网络预测值与真实目标值，然后计算一个距离值，衡量该网络在这个示例上的效果好坏。
深度学习的基本技巧是利用这个距离值作为反馈信号来对权重值进行微调，以降低当前示例对应的损失值。这种调节由优化器（optimizer）来完成，它实现了所谓的反向传播（backpropagation）算法，这是深度学习的核心算法。
一开始对神经网络的权重随机赋值，因此网络只是实现了一系列随机变换。其输出结果自然也和理想值相去甚远，相应地，损失值也很高。但随着网络处理的示例越来越多，权重值也在向正确的方向逐步微调，损失值也逐渐降低。这就是训练循环（training loop），将这种循环重复足够多的次数（通常对数千个示例进行数十次迭代），得到的权重值可以使损失函数最小。

深度学习之前：机器学习简史

概率建模（probabilistic modeling）

概率建模是统计学原理在数据分析中的应用。它是最早的机器学习形式之一，至今仍在广泛使用。其中最有名的算法之一就是朴素贝叶斯算法。
朴素贝叶斯是一类基于应用贝叶斯定理的机器学习分类器，它假设输入数据的特征都是独立的。
另一个密切相关的模型是 logistic 回归（logistic regression，简称 logreg），它有时被认为是现代机器学习的“hello world”。不要被它的名称所误导——logreg 是一种分类算法，而不是回归算法。面对一个数据集，数据科学家通常会首先尝试使用这个算法，以便初步熟悉手头的分类任务。

早期神经网络

贝尔实验室于 1989 年第一次成功实现了神经网络的实践应用，当时 Yann LeCun 将卷积神经网络的早期思想与反向传播算法相结合，并将其应用于手写数字分类问题，由此得到名为LeNet 的网络，在 20 世纪 90 年代被美国邮政署采用，用于自动读取信封上的邮政编码。

核方法

核方法是一组分类算法，其中最有名的就是支持向量机（SVM，support vector machine）。
SVM 的目标是通过在属于两个不同类别的两组数据点之间找到良好决策边界（decision
boundary）来解决分类问题。决策边界可以看作一条直线或一个平面，将训练数据划分为两块空间，分别对应于两个类别。对于新数据点的分类，你只需判断它位于决策边界的哪一侧。

决策树、随机森林与梯度提升机

决策树（decision tree）是类似于流程图的结构，可以对输入数据点进行分类或根据给定输入来预测输出值
随机森林（random forest）算法，它引入了一种健壮且实用的决策树学习方法，即首先构建许多决策树，然后将它们的输出集成在一起
梯度提升机（gradient boosting machine）也是将弱预测模型集成的机器学习技术。

深度学习

自 2012 年以来，深度卷积神经网络（convnet）已成为所有计算机视觉任务的首选算法。
深度学习从数据中进行学习时有两个基本特征：第一，通过渐进的、逐层的方式形成越来越复杂的表示；第二，对中间这些渐进的表示共同进行学习，每一层的变化都需要同时考虑上下两层的需要。