SDAE--随读笔记

SDAE是将多个DAE(Denoising Autoencoder)堆叠起来形成的一种算法. 由P. Vincent, Hugo, Larochelle, Y. Bengio等人在Stacked Denoising Autoencoders: Learning Useful Representations in a Deep Network with a Local Denoising Criterion一文中进行了详细的阐述.

sDAE(Stacked DAE)
sDAE的思想就是将多个DAE堆叠在一起形成一个深度的架构. 需要注意的是, 只有在训练的时候才会对输入进行腐蚀(加噪), 一旦训练完成, 就不需要在进行腐蚀, 如下图所示

一旦sDAE训练完成, 其高层的特征就可以用做传统的监督算法的输入. 当然, 也可以在最顶层添加一层logistic regression层, 然后使用带label的数据来进一步fine tune该深度神经网络, 如下图所示