Part III - 2. Autoencoders

自编码器是前馈神经网络的一种，用于重构训练数据（reconstruction），其有一个描述编码的隐藏层，该编码用于表示输入。该网络由两个部分组成，编码器 $\mathbf{h}=f(\mathbf{x})$、解码器 $\mathbf{r}=g(\mathbf{h})$，其中 $\mathbf{h}$ 称为 编码（code）， 如下图

1、欠完备自编码器（Undercomplete Autoencoders）

通常我们期望训练自编码器执行输入拷贝任务（即 $\mathbf{r}=g(f\mathbf{x})$）使得 $\mathbf{h}$ 获得有用的属性。通过自编码器获取有用特征的一种方法是限制 $\mathbf{h}$ 的维度小于 $\mathbf{x}$ 的维度。编码维度小于输入维度的自编码器称为欠完备自编码器。其学习过程可简单描述为最小化 $L(\mathbf{x},g(f(\mathbf{x})))$。

• 当解码器是线性的且 $L$ 是 MSE，欠完备自编码器可学习与 PCA 相同的子空间。
• 当编码和解码都为非线性函数时，自编码器可学到更强大的非线性 PCA 推广。但若自编码器过于强大，将不能够从训练数据种提取到突出的信息，极端情况为输出完整表示了输入。

2、正则自编码器（Regularized Autoencoders）

正则自编码器使用一个损失函数来鼓励模型学习除拷贝输入到输出之外的其他特性，如稀疏表示、 表示的小导数、以及对噪声或输入缺失的鲁棒性。即使模型容量大到足以学习一个无意义的恒等函数，非线性且过完备的正则自编码器仍然能够从数据中学到一些关于数据分布的有用信息。

2.1、稀疏自编码器（Sparse Autoencoders）

稀疏自编码器可简单看作具有额外稀疏惩罚项的自编码器，即目标函数为：$$L(\mathbf{x},g(f(\mathbf{x})))+\Omega (\mathbf{h})$$其中 $\mathbf{h}=f(\mathbf{x})$ 即编码器的输出，$\Omega (\mathbf{h})$ 为作用在编码器输出上的稀疏惩罚项。

与正则化项不同，正则化项直接作用于权重向量。而稀疏自编码器的惩罚项作用于编码层的输出。

我们可以将整个稀疏自编码器看作是具有隐变量（latent variables）的生成模型的近似最大似然训练。假设模型有可见变量 $\mathbf{x}$ 和隐变量 $\mathbf{h}$，且具有明确的联合分布 $p_{model}(\mathbf{x},\mathbf{h})=p_{model}(\mathbf{h})p_{model}(\mathbf{x}|\mathbf{h})$。我们将 $p_{model}(\mathbf{h})$ 视为模型关于隐变量的先验分布，表示模型看到 $\mathbf{x}$ 的先验信念。对数似然可被分解为，$$log{p}_{model}(\mathbf{x})=\sum _{\mathbf{h}}log{p}_{model}(\mathbf{x},\mathbf{h})$$我们可以认为自编码器使用一个高似然值 $\mathbf{h}$ 的点估计近似这个总和。根据所选择的 $\mathbf{h}$，最大化$$log{p}_{model}(\mathbf{x},\mathbf{h})=log{p}_{model}(\mathbf{h})+log{p}_{model}(\mathbf{x}|\mathbf{h})$$ $log{p}_{model}(\mathbf{h})$ 能被稀疏诱导，以 Laplace 先验为例，$$p_{model}(h_i)=\frac{\lambda }{2}{e}^{-\lambda |h_i|}$$ 代入 $p_{model}(\mathbf{h})={\prod }_i{p}_{model}(h_i)$，则有 $$-log{p}_{model}(\mathbf{h})=\sum _i(\lambda |h_i|-log\frac{\lambda }{2})=\lambda \sum _i|h_i|+const=\Omega (\mathbf{h})+const$$ 其中，const 项仅仅依赖于 $\lambda$，因此不影响参数学习，可丢弃该项。其他先验如 Student-t 先验也可诱导稀疏。

2.2、去噪自编码器（Denoising Autoencoders）

通过自编码器提取输入的有用数据的原理是阻止自编码器仅学习到一个恒等式。去噪自编码器不是在代价函数上额外添加一个惩罚项，而是对编码器输入进行噪声扰动，即 $$L(\mathbf{x},g(f(\stackrel{\text{~}}{x})))$$其中，$\stackrel{\text{~}}{x}$ 是 $\mathbf{x}$ 被噪声破坏后的版本。

2.3、收缩自编码器（Contractive Autoencoders）

稀疏自编码的另一个策略是惩罚导数作为正则，即使用以下形式的惩罚项 $$\Omega (\mathbf{h},\mathbf{x})=\lambda \sum _i||{\nabla }_{\mathbf{x}}{h}_i|{|}^2$$ 这种策略会使模型所学习到的函数对 $\mathbf{x}$ 的改动不敏感，即 $\mathbf{x}$ 的轻微变化不会导致模型所学得函数大的变化。