读书笔记：Deep Learning [Ada-Computation&ML series]--chapter 14.Autoencoder

part0.概述

1.公式：g( f(x) ) = x.

2.用途：降低维度，比同等维度的PCA的效果好；信息检索（图片或文字的），通过语意哈希

part1.欠完备autoencoder

1.定义：编码维度小于输入维度，迫使autoencoder去学习那些最显著的特征。

学习过程: 最小化损失函数 L(x, g(f(x)) )

2.与PCA的关系：如果decoder是线性的，L是mse，则欠完备的autoencoder学习的是跨度为与PCA相同的子空间。

3.欠完备autoencoder会有效，说明了如果其性能太强，则反而会学不到有效信息。

part2.正则化的autoencoder

1.目的是解决上述的性能太强的问题，但是不是依靠减小网络深度与编码大小，而是通过正则化，使得模型具有一些特性，比如稀疏性，对输入缺失或噪声的鲁棒性。即使是过完备的autoencoder通常也能学到有效信息。