auto encoder 可以看作是一种自监督学习/pretrain
通过对无标签数据的复原游戏,让网络尽可能学习到数据的本质分布。将高维向量的本质信息抽取出来,起到一种降维作用。
在后续的下游任务中使用embedding后的feature即可
低维feature的好处:1.更接近本质信息 2.模型训练只需要更少量数据
training tips:encoder+decoder一起train,可以单独取出来使用
核心思想是:压缩即智能,压缩即本质
autoencoder的本质:可以抽出一组精华的描述特征
先train整个网络,然后可以只取encoder使用,相当于改变了原图像的feature表示
去噪自编码器:是一种更好的autoencoder,因为模型还学会了如何去噪
autoencoder的一个应用:pretrain出模型的初始化weight
目标训练左面的MNIST分类网络,可以一层一层的固定前层进行autoencoder训练
最后再接上最后一层完整的反向传播训练
autoencoder的decoder的妙用:用于生成图像
先观察一下bottleneck vector的分布情况 对bootleneck vector进行取样即可