【深度学习基础】从零开始的炼丹生活04——从传统机器学习走向深度学习

往期回顾:
01——机器学习基本概念、统计学基本概念简单介绍
02——逻辑回归/logistic回归、广义线性模型与最大熵模型
03——支持向量机以及核方法

前面介绍了有关机器学习的基本概念和经典算法，现在让我们了解一下为什么深度学习会崛起。（主要参考《深度学习》）

---

促使深度学习发展的挑战

很多简单的机器学习算法在不同的重要问题上面效果都表现良好，但它们不能解决一些核心问题，比如语音识别或者对象识别。传统学习算法在这些方面的泛化能力不足。下面让我们说说泛化能力不足的具体原因。

• 事实上，深度学习的复兴起始于Hinton表明神经网络能够在MNIST基准数据上胜过RBF核的支持向量机。

1. 维数灾难(Curse of Dimensionality)

当数据的维数很高时，很多学习问题就会变得相当困难。这种现象被称为维数灾难。一组变量不同的可能配置组合的数量会随着变量数目的增加而指数级增长。

• 由维数灾难带来的挑战就是统计挑战。许多传统机器学习算法只是简单地假设在一个新点的输出应大致和最近的训练点的输出相同。

在低维度里，由于数据可能的组合配置很少，我们很容易就能覆盖大部分的区域，比如我们只考虑一个特征的十个值，我们不需要很多数据就能完全覆盖它的配置组合。可是随着维数上升，比如两个特征的各自十个值，我们就需要考虑10 x 10 =100个区域；三个特征就需要追踪1000个区域……

一般来说，对于需要区分的d维的v个值，我们需要$O(v^d)$个区域和样本。由此我们可以看到维数不断增加造成的传统机器学习的泛化不足。