一、促使深度学习发展的挑战

促使深度学习发展的挑战

深度学习的产生是为了解决传统机器学习算法无法处理的复杂AI任务，所以促使深度学习发展的挑战即为传统机器学习面临的难题。

1、维数灾难

我们将完整的样本空间看作是由大小相同的方块组成，一个方块代表一个样本。如下图所示，

左图为一维样本空间，中图为二维样本空间，右图为三维样本空间。图中每个方块表示一个样本，空白区域表示缺失对应训练样本。可以看出，随着维度的提高，样本空间样本总数呈指数级上升，但实际中的训练样本有限，经常出现所需学习的参数数量远远大于训练样本数量。许多传统机器学习算法只是简单得将未出现的新样本点（即图中的空白区域）对应的输出近似为最近训练样本的输出。

2、局部不变性和平滑正则化

为了更好地泛化，机器学习算法需要先由先导信念引导应该学习什么类型的函数。通俗地讲，先验信念体现在选择一些偏好某类函数的算法。常使用的先验有平滑先验或局部不变性先验。这个先验表明所学函数在很小的区域内变化非常小。许多简单的算法完全依赖这些先验可以泛化很好，但无法推广到涉及统计挑战（维数灾难）的AI任务中。深度学习将引入额外的先验来降低泛化误差。

3、流形学习

在数学中，流形指一组点，且每个点都有其邻域，暗示着存在变换能够在流形上从一个位置移动到另一个位置。在机器学习中，它往往被宽松地定义为一组相连的点，这些点可通过仅考虑嵌入到高维空间中的少量的自由度或维度来很好地近似化。一个维度对应一个局部变化的方向。下图为一个嵌入到二维空间的一维流形示例。

二维空间的一个分布采样的样本数据实际上集中在形似缠绕的带子的一维流形附近。实线表示学习器应该推断的隐式流形。从一点到另一点流形的维数可发生变化。例如：一个形似8的流形，在大多数区域是一维的，但在流形自身相交部分是二维的。

让机器学习算法学习所有 ${\mathbb{R}}^n$ 上有趣变化的函数通常是无望的。流形学习算法通过一个假设克服了这一障碍，该假设认为${\mathbb{R}}^n$中多数区域都是无效输入，有意义输入只分布在包含少量数据点的子集的一组流形中，而学习函数的输出中有意义的变化都沿着流形的方向或仅当我们切换到另一个流形时发生。通俗地说，其核心思想是概率质量高度集中。

流形学习算法的假设并非总是正确的，但我们认为，在那些涉及图像、声音或文本处理的AI任务中至少近似正确。有两点可以支持这一假设：

• 图像、文本和声音的概率分布是高度集中的。均匀的噪声不会和这些领域的结构化输入类似。同样地，随机挑选字母组成一个文档，该文档是有意义的文本的概率几乎为0。因为在字母序列空间中，自然语言的分布占据非常小的空间。
• 要使流形假设成立，必须确保样本之间互相连接，每个样本被其他高度近似的样本包围，而这些高度近似的样本可通过变换来遍历流形得到。以图像的变换为例，有逐渐变暗或变亮光泽、移动或旋转图像、改变图像中物体颜色等。