1.2 深度学习之前：机器学习简史

概率建模

概率建模(probabilistic modeling)是统计学原理在数据分析中的应用。它是最早的机器学习形式之一，至今仍在广泛使用。其中最有名的算法之一就是朴素贝叶斯算法，假设输入数据的特征都是独立的。另一个密切相关的模型是logistic回归，是一种分类算法。

早期神经网络

核方法

核方法(kernel method)是一组分类算法，其中最有名的就是支持向量机(SVM,support vector machine).SVM的目标是通过在属于两个不同类别的两组数据点之间找到良好决策边界(decision boundary)来解决分类问题。通过两步来实现：1.将数据映射到一个新的高维表示2.尽量让超平面与每个类别最近的数据点之间的距离最大化，从而计算出良好决策边界。，这一步叫做间隔最大化。
需要用到核技巧(kernel trick)，其基本思想是：要想在新的表示空间中找到良好的决策超平面，你不需要在新空间中直接计算点的坐标，只需要在新空间中计算点对之间的距离，可以利用**核函数(kernel function)**高效的完成这种计算。核函数通常是人为选择的，不是从数据中学到的。对于SVM来说，只有分割超平面是通过学习得到的。
优点：简单分类问题表现出好的性能，有理论支持。
缺点：很难扩展到大型数据集，且应用于感知问题时，首先需要手动提取出有用的表示（特征工程），这一步比较难且不稳定。

决策树、随机森林与梯度提升机

随机森林(random forest)算法是一种健壮且实用的决策树学习算法，构建许多决策树，将他们的输出集成在一起。梯度提升机(gradient boosting machine)与随机森林类似。可能是目前处理非感知数据最好的算法之一。

回到神经网络

自2012年以来，深度卷积神经网络已经成为所有计算机视觉任务的首选算法。

深度学习有何不同

先前的工作中，我们必须权利让初始输入数据更适合用这些方法处理，也必须手动为数据设计好的表示层。这叫做特征工程，与此相反，深度学习将这个步骤自动化，，可以一次学习所有特征，而无需手动设计。
在实践中，如果重复应用浅层方法，收益会随着层数增加而迅速降低，因为三层模型中最优的第一表示层并不是单层或双层模型中最优的第一表示层。深度学习变革在于，可以同一时间共同学习所有层（贪婪学习）。
**深度学习有两个基本特征：**第一，通过渐进的、逐层的方式形成越来越复杂的表示；第二，对中间这些渐进的表示共同进行学习。

机器学习现状

目前主宰kaggle竞赛两个库XGBoost\keras，两种技术，梯度提升机，用于浅层学习/结构化问题；深度学习，用于图像分类等感知问题。