dnn神经网络 缺点_神经网络系列学习笔记(二)——神经网络之DNN学习笔记

研究发现，如果在原有的特征中加入这些自动学习得到的特征可以大大提高精确度，甚至在分类问题中比目前最好的分类算法效果还好。

注：

Fine-tuning的目的，是使得整个网络系统达到全局的最优(end2end)，而不是之前分段的局部最优。

二、其他模型结构及其演进版本

(1)稀疏自动编码器

在auto-encoder的网络使用加上L1的Regularity限制，(L1主要是约束每一层中的节点中大部分都要为0，只有少数不为0，这就是Sparse名字的来源)，我们就可以得到Sparse AutoEncoder法。

如上图，其实就是限制每次得到的表达code尽量稀疏。因为稀疏的表达往往比其他的表达要有效(人脑好像也是这样的，某个输入只是刺激某些神经元，其他的大部分神经元是受到抑制的)。

(2)降噪自动编码器

Denoising auto-encoder (DA)是在自动编码器的基础上，训练数据加入噪声，所以自动编码器必须学习去去除这种噪声而获得真正的没有被噪音污染过的输入。因此，就迫使编码器去学习输入信号的更加鲁棒的表达，这也是它的泛化能力比一般编码器强的原因。DA可以通过梯度下降算法去训练。

(3)sparse coding稀疏编码

简单来说，就是将输入向量表示为一组基向量的线性组合。

Sparse coding：超完备基(基向量的个数比输入向量的维数要大)

PCA