1、auto encoder为什么会提出
对数据过于稀疏而且高维数据难以计算问题的解决
2、auto encoder模型的大致框架
由上图我们可以看出,这是一种无监督模型,通过encoder与decoder两个函数重构形成了新的特征,目标就是最小化重构误差,并用输出去表示输入。
3、auto encoder的前向传播和反向传播算法
4、auto encoder的一些变型
1、Denoising AutoEncoder
它是为了防止模型出现过拟合而提出的,为了防止模型出现过拟合的现象,我们可以在输入中加入随机噪声;也可以在目标函数中加入encoder的Jacobian矩阵,让它学到抗干扰的特征。(雅可比矩阵可以使学到的特征具有局部不变性)
添加随机噪声的方法有两种,一种就是添加服从特定分布的噪声,另一种就是随机将输入的x置为0
2、Sparse AutoEncoder
在原来的损失函数中加入了一个控制稀疏化的正则项,它使encoder的各层只有部分神经元被激活,从而将样本映射成低维系数特征向量。用KL散度就可以来衡量神经元被激活的概率和期望概率之间的损失。(将KL散度加入到目标函数中,就可以实现对神经网络稀疏性的约束)
3、Variational AutoEncoder
它不再将输入x映射到一个固定的抽象特征z上,而是假设样本x的抽象特征z服从一个正态分布,然后通过分布生成抽象特征z,最后基于z通过decoder得到输出。
4、Adversarial AutoEncoder
未完