自编码器

预训练：逐层训练学习压缩表示，去掉解码器后叠加
监督微调：加一个分类器，只调分类器或者微调整个系统（更好）
损失函数：对于高斯分布的数据，采用均方误差就好，而对于伯努利分布可以采用交叉熵，这个是可以根据似然函数推导出来的
两部分权重相等作为约束

降噪自编码器：结构同上，训练不同，输入带噪声的而非原始样本，随机噪声?服从均值为0，方差为?2的正态分布，然后学习没有误差的重构，和没有噪声的样本构建损失函数。更好的学习特征，对噪声鲁棒，恢复更好

稀疏自编码器：对隐层单元施加L1正则化，是大部分为0，即使在隐藏神经元数量较多的情况下仍然可以发现输入数据中一些有趣的结构。

收缩自编码器：稀疏和收缩的损失函数，收缩自编码器通过两种相反的推动力学习有用信息–重构误差和收缩惩罚（正则项）。收缩惩罚迫使自编码器学习到的所有映射对于输入的梯度都很小，即把输入都降维到一个很小的区域（点附近），而重构误差迫使自编码器学习一个恒等映射，保留完整的信息。两种推动力冲击下，使得大部分映射对于输入的梯度都很小，而只有少部分的大梯度。这样在输入具有小扰动时，小梯度会减小这些扰动，达到增加自编码器对输入附近小扰动的鲁棒性。
从而学习训练数据的稳定表示