自编码器（AutoEncoder）

自编码器主要分为两步：编码（encoder）和解码（decoder），编码阶段主要是将输入信息映射到低维度的空间（提取有用的特征），解码阶段主要是为了还原输入的结果。

其中损失函数L用于度量输出信息与输入信息偏离的程度

正则自编码器是在损失函数中加入对模型复杂度的惩罚项

根据损失函数的不同，自编码器可以分为以下几类：

稀疏自编码器（Sparse AE）

降噪自编码器（Denose AE）

收缩自编码器（Contractive AE）

模型的训练过程就需要在如下两种冲突中寻找平衡：1. 学习输入数据x的有效表示h(x)，使得decoder可以有效的通过[公式]重构[公式]。2.满足惩罚项带来的限制条件，这可以通过限制模型的容量大小，也可以通过改变模型的重构损失，通常会使模型对于输入的扰动更不敏感。