关于auto encoder

auto encoder 可以看作是一种自监督学习/pretrain

通过对无标签数据的复原游戏，让网络尽可能学习到数据的本质分布。将高维向量的本质信息抽取出来，起到一种降维作用。

在后续的下游任务中使用embedding后的feature即可

低维feature的好处：1.更接近本质信息     2.模型训练只需要更少量数据

training tips:encoder+decoder一起train，可以单独取出来使用

核心思想是：压缩即智能，压缩即本质

autoencoder的本质：可以抽出一组精华的描述特征

先train整个网络，然后可以只取encoder使用,相当于改变了原图像的feature表示

去噪自编码器:是一种更好的autoencoder，因为模型还学会了如何去噪

autoencoder的一个应用：pretrain出模型的初始化weight

目标训练左面的MNIST分类网络，可以一层一层的固定前层进行autoencoder训练

最后再接上最后一层完整的反向传播训练

autoencoder的decoder的妙用：用于生成图像

先观察一下bottleneck vector的分布情况 对bootleneck vector进行取样即可