深度学习之自编码器（3）自编码器变种

 一般而言，自编码器网络训练较为稳定，但是由于损失函数是直接度量重建样本与真实样本的底层特征之间的距离，而不是评价重建样本的逼真度和多样性等抽象指标，因此在某些任务上效果一般，如图片重建，容易出现重建图片边缘模糊，逼真度相对真实图片仍有不小差距。为了尝试让自编码器学习到数据的真是分布，产生了一系列的自编码器变种网络。下面将介绍集中典型的自编码器变种模型。

1. Denoising Auto-Encoder

 为了防止神经网络记忆住输入数据的底层特征，Denoising Auto-Encoder给输入数据添加随机的噪声扰动，如给输入$\mathbf{x}$添加采样自高斯分布的噪声$\epsilon$：
$$\tilde{\mathbf{x}}=\mathbf{x}+\epsilon ,\epsilon \sim \mathcal{N}(0,\text{var})$$
添加噪声后，网络需要从$\tilde{\mathbf{x}}$学习到数据的真实隐藏变量$\mathbf{z}$，并还原出原始的输入$\mathbf{x}$，如下图所示：

Denoising自编码器示意图

 模型的优化目标为：
$${\theta }^{\ast }=\underset{\theta }{\underbrace{\text{argmin}}}\text{dist}(h_{{\theta }_2}(g_{{\theta }_1}(\tilde{\mathbf{x}})),\mathbf{x})$$

2. Dropout Auto-Encoder

 自编码器网络同样面临过拟合的风险，Dropout Auto-Encoder通过随机断开网络的连接来减少网络的表达能力，防止过拟合。Dropout Auto-Encoder实现非常简单，通过在网络层中插入Dropout层即可实现网络连接的随机断开。

3. Adversarial Auto-Encoder

 为了能够方便地从某个一致某个已知的先验分布中$p(\mathbf{z})$采样隐藏变量z，方便利用$p(\mathbf{z})$来重建输入，对抗自编码器（Adversarial Auto-Encoder）利用额外的判别器网络（Discriminator，简称D网络）来判定降维的隐藏变量$\mathbf{z}$是否采样自先验分布$p(\mathbf{z})$，如下图所示。判别器网络的输入为一个属于$[0,1]$区间的变量，表征隐藏向量是否采样自先验分布$p(\mathbf{z})$：所有采样自先验分布$p(\mathbf{z})$的$\mathbf{z}$标注为真，采样自编码器的条件概率$q(\mathbf{z}|\mathbf{x})$的标注$\mathbf{z}$为假。通过这种方式训练，处理可以重建样本，还可以约束条件概率分布$q(\mathbf{z}|\mathbf{x})$逼近先验分布$p(\mathbf{z})$。

对抗自编码器

对抗自编码器是从下一章要介绍的生成对抗网络算法衍生而来，在学习完对抗生成网络后可以加深对对抗自编码器的理解。