【论文学习笔记】：深度学习综述

你也可以在我的幕布里面查看，也可以查看对应的思维导图

你可以转载或者保存，如果能注明出处或者点个赞那是最好的啦
感谢！

---

论文学习：深度学习综述

• 发表时间2012年8月 ，深度学习， 综述

• 深度学习

  • 深度学习源于人工神经网络的研究，通过组合低层特征形成更加抽象的高层表示

  • 深度学习算法：基于深信度网（DBN）提出的非监督贪心逐层算法，多层自动编码器深层结构，卷积神经网络，去噪自动编码器，DCN，sum-product

• 深度学习神经学启示

  • 启示

    • 人脑不直接处理外部世界的投影，处理的也是经过处理后提取的特征信息

    • BP算法收敛到局部最小，并且随着层度加深愈加严重

    • 浅层模型：单层非线性变化结构：传统马尔可夫模型，条件随机场，最大熵模型，支持向量机，核回归，单隐层感知机模型

  • 浅层结构函数的局限性

    • 文献【10】：深度学习结构可以很简洁的表示复杂函数

    • 文献【16】：列出了一大类不能用浅层电路表示的函数

  • 局部表示，分布式和稀疏表示

    • 稀疏表示：分布式表示的一个变体：介于局部表示和稠密分布式之间，尽量要求所获得表示中只有少数维是有效的，找出信号的主要驱动源

    • 局部表示：核方法，将空间切分为不同局部，局部之间是互斥的，当目标函数非常复杂时泛化能力很差。

    • 分布式：表示一系列有可能的统计独立的显著特征组成，参数有所降低，可以减少过拟合问题

    • 多层神经网络和玻尔兹曼机已经被用于学习分布式表征

  • 深度学习具有多层非线性映射的深层结构，可以完成非常复杂的函数逼近，理论上可以获取分布式表示，即可以通过逐层学习算法获得主要驱动变量，改优势是通过深度学习的非监督预训练算法完成的

• 典型的深度学习结构

  • 生成型深度结构

    • 该结构描述数据的高阶相关特征或观测数据和应用相应的联合概率分布

    • DBN（深度置信网络）是目前研究和应用都比较广泛的深度学习结构

    • DBN有一系列受限玻尔兹曼机（RBM）单元组成，可视曾和隐层单元彼此互连，采用吉布斯采样方法

    • 有点：解决了BP算法缺陷：1.需要大量含标签的样本。2.较慢的收敛速度。3.因为不适合的参数选择陷入全局最优

  • 区分性深度结构

    • 提供对模式分类的区分性能力，通常描述数据的后验分布

    • CNNs是第一个真正成功训练的多层网络结构学习算法

    • CNN作为深度学习框架是基于最小化预处理数据要求而产生的

  • 混合型结构

    • 目的是区分性的，但是通常利用了生成型结构的输出会更加容易优化

• 附加

  • 先验分布：发生前推测

  • 后验分布：根据结构推测