Stacked Autoencoder(SAE)模型是一个由多层稀疏自编码器组成的深度神经网络模型,其前一层自编码器的输出作为其后一层自编码器的输入,最后一层是个分类器(logistic分类器或者softmax分类器)
(一)sparse autoencoder算法
1.概念:sparse autoencoder是一种非监督学习算法,需要满足以下两种约束:
(1)autoencoder:输入等于输出
(2)sparse:隐层的每个神经元的响应是稀疏的,也就是大部分时间响应为0,也就是平均响应
尽可能小(其中m为训练样本个数)
2.代价函数
其中:
(1)第一项为autoencoder的约束项;
(2)第二项为惩罚项目,防止过拟合;
(3)第三项为稀疏的约束,是一个KL散度的衡量标准:
3.最优化方案:该约束函数是一个非凸函数,采用批量梯度下降算法
其中:
至于梯度可以用backpropagation(BP)算法来求解;
(二)logistic回归模型与softmax回归mox
1.logistic回归模型
(1)适用于二分类;
(2)模型函数:
(3)代价函数(最大似然):
(4)最优化方案:梯度下降算法;
2.softmax回归模型
(1)适用于多分类;
(2)模型函数:
(3)代价函数:
(4)最优化方案:梯度下降算法;
3.softmax回归分类器适用于k个互斥的类别的分类;k个logistic回归分类器适用k个并不完全互斥的类别的分类;
(三)SAE模型
(1)预训练:利用无标签数据对每一层的参数用sparse autoencoder训练初始化;
(2)微调:利用有标签数据对整个深度神经网络进行微调;