matlab sae模型,深度学习笔记（三）：SAE模型

Stacked Autoencoder(SAE)模型是一个由多层稀疏自编码器组成的深度神经网络模型，其前一层自编码器的输出作为其后一层自编码器的输入，最后一层是个分类器(logistic分类器或者softmax分类器)

(一)sparse autoencoder算法

1.概念：sparse autoencoder是一种非监督学习算法，需要满足以下两种约束：

(1)autoencoder：输入等于输出

(2)sparse：隐层的每个神经元的响应是稀疏的，也就是大部分时间响应为0，也就是平均响应

尽可能小(其中m为训练样本个数)

2.代价函数

其中：

(1)第一项为autoencoder的约束项；

(2)第二项为惩罚项目，防止过拟合；

(3)第三项为稀疏的约束，是一个KL散度的衡量标准：

3.最优化方案：该约束函数是一个非凸函数，采用批量梯度下降算法

其中：

至于梯度可以用backpropagation(BP)算法来求解；

(二)logistic回归模型与softmax回归mox

1.logistic回归模型

(1)适用于二分类；

(2)模型函数：

(3)代价函数(最大似然)：

(4)最优化方案：梯度下降算法；

2.softmax回归模型

(1)适用于多分类；

(2)模型函数：

(3)代价函数：

(4)最优化方案：梯度下降算法；

3.softmax回归分类器适用于k个互斥的类别的分类；k个logistic回归分类器适用k个并不完全互斥的类别的分类；

(三)SAE模型

(1)预训练：利用无标签数据对每一层的参数用sparse autoencoder训练初始化；

(2)微调：利用有标签数据对整个深度神经网络进行微调；