2020-3-28 深度学习笔记15 - 表示学习 5（得益于深度的指数增益（深度的优势），提供发现潜在原因的线索（正则化策略））

第十五章 表示学习

官网
英文

2020-3-24 深度学习笔记15 - 表示学习 1（贪心逐层无监督预训练-目前已经不太使用）
2020-3-25 深度学习笔记15 - 表示学习 2（迁移学习和领域自适应）
2020-3-26 深度学习笔记15 - 表示学习 3（半监督解释因果关系causal factors -生成式对抗网络）
2020-3-27 深度学习笔记15 - 表示学习 4（分布式表示）

得益于深度的指数增益Exponential Gains from Depth

相比于浅层网络，一些函数能够用指数级小的深度网络表示。 缩小模型规模能够提高统计效率。

上一节的生成模型的示例，能够学习人脸图像的潜在解释因子，包括性别以及是否佩戴眼镜。 完成这个任务的生成模型是基于一个深度神经网络的。

浅层网络（例如：线性网络）不能学习出这些抽象解释因子和图像像素之间的复杂关系。
在这个任务和其他AI任务中（深度网络应用），这些因子几乎彼此独立地被抽取，但仍然对应到有意义输入的因素，很有可能是高度抽象的，并且和输入呈高度非线性的关系。 我们认为这需要深度分布式表示，需要许多非线性组合来获得较高级的特征（被视为输入的函数）或因子（被视为生成原因）。

非线性和重用特征层次结构的组合来组织计算，可以使分布式表示获得指数级加速之外，还可以获得统计效率的指数级提升。

足够深的前馈网络会比深度不够的网络具有指数级优势。

一系列和卷积网络相关的深度回路族表达能力的理论结果，即使让浅度回路只去近似深度回路计算的函数，也能突出反映深度回路的指数级优势。

提供发现潜在原因（Underlying Causes）的线索

在本章第三节中，曾经回答过“什么原因能够使一个表示比另一个表示更好？”。一个答案是，一个理想的表示能够区分生成数据变化的潜在因果因子，特别是那些与我们的应用相关的因素。

表示学习的大多数策略都会引入一些有助于学习潜在变差因素 underlying causal factors of
variation的线索。 这些线索可以帮助学习器将这些观察到的因素与其他因素分开。监督学习提供了非常强的线索：每个观察向量$x$的标签$y$，它通常直接指定了至少一个变差因素。

正则化策略对于获得良好泛化是很有必要的。 当不可能找到一个普遍良好的正则化策略时，深度学习的一个目标是找到一套相当通用的正则化策略，使其能够适用于各种各样的AI任务（类似于人和动物能够解决的任务）。

在此，我们提供了一些通用正则化策略的列表，给出了一些学习算法是如何发现对应潜在因素的特征的具体示例。

• 平滑：假设对于单位$d$和小量$ϵ$