自编码机学习

Autoencoder可以表达成一个编码函数：

$$h = f(x)$$
和一个重构函数:
$$r = g(h)$$
我们期望给Autoencoders施加一些约束，使得它学习到数据分布的某些有用的特性。

Undercomplete Autoencoder

约束h使它的维度小于x从而学习训练数据中最显著的特性。当decoder是线性的并且loss函数是L2时，autoencoder学习PCA子空间，而当f和g都不是线性时，