深度学习

机器学习的发展经历了：浅层学习和深度学习两个阶段，典型的浅层模型有：高斯混合模型GMMs，SVM、逻辑回归等。
1974，方向传播(back propagation,BP)算法解决了由简单的神经网络模型推广到复杂神经网络模型中线性不可分的问题，但是BP在神经网络的层数增加的时候蚕食优化额效果无法传递到前层，容易使得模型最后陷入局部最优解，也比较容易过拟合。
2006,深度置信网络(deep believe network,DBN),可以看作是由多个受限玻尔兹曼机(restricted boltzman machines,RBM)叠加而成，从结构上来说，与传统的多层感知器差别不大，但是在有监督训练前需要先无监督学习训练，然后将学到的参数作为有监督学习的初始值。
RBM:是一个2层的马尔科夫随机场的特殊情况，有一个可视单元层和一个隐含单元层，层之间有链接，但是层内单元之间无连接。
DBN由若干个RBM模型的叠加，是有着多层隐藏解释因子的神经网络。在预训练的时候是先单独训练每一个ＲBM，逐层叠加将下一层的ＲBM 的输出作为上一层ＲBM 的输入; 在反向微调的时候可以通过BP 训练根据误差函数进行反向调节．求解DBN方法的核心是贪婪逐层预训练算法，在与网络大小和深度呈线性的时间复杂度上优化DBN 的权值，将求解的问题分解成为若干更简单的子问题进行求解。

推荐论文：
深度学习研究进展 刘建伟，介绍了卷积神经网络模型、深度信任网络模型和堆栈自编码网络模型；
深度学习的研究与发展-张建明，介绍了玻尔兹曼机，自编码等问题；
深度学习研究综述_*尹宝才，介绍前馈、反馈、双向深度学习。