深度学习研究综述学习

深度学习研究综述学习

深度学习的发展背景

    神经学的研究表明哺乳动物在接受到光刺激后，刺激信号由视网膜传到前额大脑皮质再到运动神经的过程中，大脑皮质并不是直接对刺激信号进行处理，而是经过一个复杂的层状网络模型获取观测结果的规则。神经网络人员由此得到启发开始研究多层神经网络。但是由于这种模型下输入与输出并不是非线性映射关系，整个网络误差函数空间或能量函数空间是个含多个极小值的非线性空间，而搜索只能是朝着误差或者能量减小的方向，导致最终得到的结果只是局部最小值。这种特点会随着网络层数的增多而更加严重。所以传统机器学习只是一种仅仅含有单层非线性变换的的浅层学习网络。浅层结构的局限性在于对于单层网络结构假设设置d个计算节点，则对于多层网络结构则需要d的指数倍个计算节点进行计算。另外仍存在大量无法用浅层结构表达的函数类型。

深度学习介绍

    深度学习网络具有多层非线性映射结构，可以完成复杂的函数逼近，并且对整个数据的特征信息进行分布式的表示，在多层学习算法中提取数据的主要特征，减少无关信息的影响的同时有效避免过拟合的问题。
    深度学习按照结构和技术应用的方式主要分为生成性深度结构、区分性深度结构以及混合型深度结构。生成性结构描述数据的高阶相关特性。区分性深度结构主要运用于模式分类，描述数据的后验分布。混合型结构是以区分模型作为目的，将生成结构用于模型的优化部分。

• 生成性深度结构
  以DBN网络模型为例，网络可视层和隐层单元彼此互连（层内无连接），隐单元可获取输入可视单元的高阶相关性。相为了获取生成性权值，预训练采用无监督贪心逐层方式来实现。在训练过程中，首先将可视向量值映射给隐单元；然后可视单元由隐层单元重建；这些新可视单元再次映射给隐单元，这样就获取了新的隐单元。
  通过自底向上组合多个 ＲＢＭ可以构建一个 ＤＢＮ，应用高斯—伯努利 ＲＢＭ或伯努利—伯努利 ＲＢＭ，可用隐单元的输出作为训练上层伯努利—伯努利 ＲＢＭ的输入，第二层伯努利和伯努利的输出作为第三层的输入等。
  
• 区分性深度结构
  例如CNN模型
• 混合性深度结构
  混合型结构的学习分为两个部分，生成性结构部分与区分性结构部分。生成性结构部分主要用于权值和参数的优化，与区分性结构模型不同在于，它的初始参数和权值是通过生成模型预训练得到的，能够加速网络模型的收敛效果，对于区分的正确率也有一定的提升效果。

引用

孙志军, 薛磊, 许阳明, et al. 深度学习研究综述[J]. 计算机应用研究, 2012, 29(8):2806-2810.