Autoencoder 与 Stacked Autoencoder

                        自动编码器的一般结构                                                     

自动编码器神经网络是一种无监督的学习框架，它使用反向传播算法在输出端重建输入，同时最小化重建误差。

 

                  训练堆叠式自动编码器的贪婪方法

在实践中，为了获得更好的性能，提出了一种更复杂的结构和训练过程，称为堆叠自动编码器(SAE)。该方法将几个自动编码器堆叠起来，每个编码器的输出都是连续层的输入，而连续层本身就是一个自动编码器。一个堆叠的自动编码器的训练过程是在一个贪婪的分层方式中完成的。

训练过程：首先，这种方法训练网络的每一层，同时冻结其他层的权重。在对所有层进行训练后，为了得到更精确的结果，对整个神经网络进行了微调。在微调阶段，使用反向传播算法调整所有层的权重。此外，对于分类任务，一个额外的softmax层可以应用到最后一层。