<模型汇总-6>堆叠自动编码器Stacked_AutoEncoder-SAE

堆叠自动编编码器是深度学习领域常用的一个深度学习模型，由多个自动动编码器串联堆叠构成。堆叠多层自动编码器的目的是为了逐层提取输入数据的高阶特征，在此过程中逐层降低输入数据的维度，将一个复杂的输入数据转化成了一个系列简单的高阶的特征，然后再把这些高阶特征输入一个分类器或者聚类器中进行分类或聚类。

1. 自动编码器模型及分类

自动编码器(Autoencoders，AE)是一种前馈无返回的神经网络，有一个输入层，一个隐含层，一个输出层，典型的自动编码器结构如图1所示，在输入层输入X，同时在输出层得到相应的输出Z，层与层之间都采用S型激活函数进行映射。

 

图1 典型自动编码器结构图

输入层到隐含层的映射关系可以看作是一个编码过程，通过映射函数f把输出向量x映射到隐含层输出y。从隐含层到输出层的过程相当于一个解码过程，把隐含层输出y映射通过映射函数g回去“重构”向量z。对于每一个输入样本x(i)而言，经过自动编码器之后都会转化为一个对应的输出向量z(i)=g[f(x(i))]。当自动编码器训练完成之后，输入X与输出Z完全相同，则对应的隐含层的输出可以看作是输入X的一种抽象表达，因此它可以用于提取输入数据的特征。此外，因为它的隐含层节点数少于输入节点数，因此自动编码器也可以用于降维和数据压缩。网络参数的训练方面，自动编码器采用反向传播法来进行训练，但自动编码器需要大量的训练样本，随着网络结构越变越复杂，网络计算量也随之增大。

对自动编码器结构进行改进得到其他类型的自动编码器，比较典型的是稀疏自动编码器、降噪自动编码器。降噪自动编码器（Denoising Autoencoder，DAE）是对输入数据进行部分“摧毁”，然后通过训练自动编码器模型，重构出原始输入数据，以提高自动编码器的鲁棒性。对输入数据进行“摧毁”的过程其实类似于对数据加入噪声。稀疏自动编码器则是对自动编码器加入一个正则化项，约束隐含层神经元节点大部分输出0，少部分输出非0。稀疏编码器大大减小了需要训练的参数的数目，降低了训练的难度，同时克服了自动编码器容易陷入局部及小值和存在过拟合的问题。降噪编码器采用有噪声的输入数据来训练网络参数，提高了自动编码器的泛化能力。

2. SAD堆叠过程

堆叠自动编码器方法与DBN相同，具体过程描述如下：（1）给定初始输入，采用无监督方式训练第一层自动编码器，减小重构误差达到设定值。（2）把第一个自动编码器隐含层的输出作为第二个自动编码器的输入，采用以上同样的方法训练自动编码器。（3）重复第二步直到初始化完成所有自动编码器。（4）把最后一个堆叠自动编码器的隐含层的输出作为分类器的输入，然后采用有监督的方法训练分类器的参数。图2给出了含三层AD的堆叠自动编码器的生成过程。

 

图2 堆叠三层自动编码器生成过程

参考文献：

[1]X. X. Luo, L. Wan, A novel efficient method for training sparse auto-encoders[J]. Proc. of the 6th International Congress on Image and Signal Processing, 2013: 1019-1023.

[2]J. Deng, Z. X. Zhang, M. Erik. Sparse auto-encoder based feature transfer learning for speech emotion recognition[J]. Proc. of Humaine Association Conference on Affective Computing and Intelligent Interaction, 2013:511-516.

[3]J. Gehring, Y. J. Miao, F. Metze. Extracting deep bottleneck features using stacked auto-encoders[J]. Proc. of the 26th IEEE International Conference on Acoustics, Speech and Signal Processing, 2013: 3377-3381.

[4]Y. L. Ma, P. Zhang, Y. N. Gao, Parallel auto-encoder for efficient outlier detection[J]. Proceeding of IEEE International Conference on Big Data, 2013: 15-17.

[5]T. Amaral, L. M. Silva, L. A. Alexande. Using different cost functions to train stacked auto-encoders[J]. Proc. Of the 12th Mexican International Conference on Artificial Intelligence, 2013: 114-120.

 更多深度学习在NLP方面应用的经典论文、实践经验和最新消息，欢迎关注微信公众号“深度学习与NLP”或“DeepLearning_NLP”或扫描二维码添加关注。