auto encoder原理及应用场景

1、auto encoder为什么会提出

对数据过于稀疏而且高维数据难以计算问题的解决

2、auto encoder模型的大致框架

由上图我们可以看出，这是一种无监督模型，通过encoder与decoder两个函数重构形成了新的特征，目标就是最小化重构误差，并用输出去表示输入。

3、auto encoder的前向传播和反向传播算法

4、auto encoder的一些变型

1、Denoising AutoEncoder

它是为了防止模型出现过拟合而提出的，为了防止模型出现过拟合的现象，我们可以在输入中加入随机噪声；也可以在目标函数中加入encoder的Jacobian矩阵，让它学到抗干扰的特征。（雅可比矩阵可以使学到的特征具有局部不变性）


添加随机噪声的方法有两种，一种就是添加服从特定分布的噪声，另一种就是随机将输入的x置为0

2、Sparse AutoEncoder
在原来的损失函数中加入了一个控制稀疏化的正则项，它使encoder的各层只有部分神经元被激活，从而将样本映射成低维系数特征向量。用KL散度就可以来衡量神经元被激活的概率和期望概率之间的损失。（将KL散度加入到目标函数中，就可以实现对神经网络稀疏性的约束）

3、Variational AutoEncoder
它不再将输入x映射到一个固定的抽象特征z上，而是假设样本x的抽象特征z服从一个正态分布，然后通过分布生成抽象特征z，最后基于z通过decoder得到输出。

4、Adversarial AutoEncoder
未完