自编码网络

1.自编码网络

自编码网络的目的是让输出y尽可能复现输入x。我们不关心输出是什么，而是关心中间生成的压缩特征，或者说是从输入到编码的映射。

自编码神经网络（Autoencoder）即是一种可以满足这些要求的pre_training技术。它是一种无监督学习算法，使用反向传播，使目标函数的输出等于输入值。下图是一个示例。 

2.自编码类型

根据上图中间层即是我们关心的特征，而且是自动生成的，那么学习到的什么特征才是好的呢

稀疏自编码：自编码神经网络除了满足输出等于输入的要求外，还可以加入其它的要求，比如稀疏性约束。 稀疏约束的一种方式可以表示为激活函数为sigmoid时，神经元输出接近于1时可以看做该神经元被激活，输出接近于0时看做被抑制。这种模型背后的思想是高维而稀疏的表达是好的。

降噪自编码：其核心思想是一个能从中恢复出原始信号的表达未必是最好的，能够对破坏的原始数据进行编码解码后仍然能恢复出原始数据的特征才是好的。