Deep Learning with Python(笔记_第一章)

第一章 什么是深度学习

一、机器学习

机器学习学的是规则，而不是答案

机器学习不同于统计学：

1. 同于统计学,机器学习经常用于处理复杂的大型数据集(比如包含数百万张图像的数据集,每张图像又包含数万个像素),
2. 用经典的统计分析(比如++贝叶斯分析++)来处理这种数据集是不切实际的。
3. 因此,机器学习(尤其是深度学习)呈现出相对较少的数学理论(可能太少了),并且是以工程为导向的。
4. 这是一门需要上手实践的学科,想法更多地是靠实践来证明,而不是靠理论推导。

机器学习的三个要素：

1. 输入数据点
2. 预期的输出示例（标签）
3. ++衡量算法效果好坏的方法++

机器学习和深度学习的核心问题是：++有意义的变换数据，学习输入数据的有用表示++（这种表示让数据更接近预期输出）
机器学习算法寻找的是更优表示，寻找时仅仅是遍历预先定义好的操作，这组操作叫做“假设空间”
机器学习的定义：

在预先定义好的可能性空间中，利用反馈信号指引，来寻找输入数据的有用表示。

二、深度学习

深度学习是机器学习的分支，强调从连续的“层”中间学习，这些层对应于越来越有意义的表示。
“深度”指的并不是获得更深层次的理解，指的是模型的“层”的个数。
所以，“深度学习”=“层级表示学习”=“分层表示学习”
机器学习的重点仅仅学习一两层的数据表示，也成为“浅层学习”

并不需要把深度学习想的跟大脑一样神秘。它只不过是从数据中学到表示，每一次信息蒸馏，经过多级信息蒸馏：信息穿过连续的过滤器，其纯度越来越高（即对任务的帮助越来越大）

过程很简单：
::: hljs-center

:::
损失函数计算了损失值，也就是预测值和真实值的距离，调整参数来减小损失函数的值，调节由“优化器”来完成，++优化器来实现反向传播的算法++。

三、 机器学习简史

1. 概率建模

   统计原理在数据分析中的应用，最有名的是“++朴素贝叶斯++”算法，至今仍在大规模使用。

   1. 朴素贝叶斯：假设输入数据的特征相互独立
   2. logistic回归：简称logreg，是分类算法，而不是回归算法。（分类给出标签，回归给出数值。）

2. 早期神经网络

   已经有了梯度下降反向传播。1989 LeNet

3. 核方法

   ++核方法也是分类算法，最有名的是SVM++
   SVM：目标是通过在属于两个不同类别的两组数据点中间，++寻找良好的决策边界，来解决分类问题++。
   决策边界：超平面。寻找决策边界两步走：

   1. 数据映射到高维表示，决策边界变成了超平面

   映射到高维难以计算，需要“核技巧”

   核技巧：在新的高维空间中寻找良好的超平面，不需要直接计算高维空间中点的坐标，而是在新空间中计算点对之间的距离，利用“核函数”可以高效完成这种计算。

   核函数：将原始空间中的任意两点映射为这两点在高维空间中的距离。核函数人为选择，不需学习。SVM中只有超平面才是需要学习的。

   2. 间隔最大化分割超平面，尽量使得超平面和每个类别最近数据点之间的距离最大化（这样保证了决策边界的泛化能力==鲁棒性）

4. 决策树、随机森林、梯度提升机

   1. 决策树：可以对输入数据进行分类，也可以根据给定输入预测输出。
      

   2. 随机森林：引入了一种健壮且实用的决策树学习方法,
      即**++首先构建许多决策树,然后将它们的输出集成在一起。++**
      随机森林适用于各种各样的问题——对于任何浅层的机器学习任务来说,它几乎总是第二好的算法。（广受欢迎的机器学习竞赛网站Kaggle 在 2010 年上线后,随机森林迅速成为平台上人们的最爱,直到 2014 年才被梯度提升机所取代。）

   3. 梯度提升机：和随机森林一样，也是将弱预测模型（通常是决策树）集成的机器学习方法。

   使用了梯度提升方法,通过迭代地训练新模型来专门解决之前模型的弱点,从而改进任何机器学习模型的效果。将梯度提升技术应用于决策树时,得到的模型与随机森林具有相似的性质,但在绝大多数情况下效果都比随机森林要好。
   它可能是目前处理非感知数据最好的算法之一(如果非要加个“之一”的话)。
   和深度学习一样,它也是Kaggle 竞赛中最常用的技术之一。

5. 特征工程：

机器学习仅仅是将输入数据进行变换，但是一些机器学习方法无法得到复杂问题的精确表示。所以，为了让输入数据更适合用选定的机器学习方法处理，必须手动为数据设计好的表示层。这就是特征工程。
但是深度学习的特征工程就完全自动化了，一次性学习所有特征，多流程变成端到端。

浅层方法不能重复使用：

在实践中,如果连续应用浅层学习方法,其收益会随着层数增加迅速降低,++因为三层模型中最优的第一表示层并不是单层或双层模型中最优的第一表示层++。

深度学习的变革性在于,++模型可以在同一时间共同学习所有表示层++,而不是依次连续学习(这被称为贪婪学习)。
这样同时得到的特征，一旦一个特征改变，其他的也会自适应的修改，无需人工。

深度学习特征：

1. 渐进、逐层方式，形成越来越复杂的表示
2. 对中间的所有渐进的特征表示，都是共同进行学习