深度学习概述

本文主要参考http://blog.csdn.net/fengbingchun/article/details/50087005  这篇博文，进行了一些整理

1. 2006年 Hinton提出深度学习的概念

   （1）、多层人工神经网络模型有很强的特征学习能力，深度学习模型学习得到的特征数据对原数据有更本质的代表性，这将大大便于分类和可视化问题；
   （2）、对于深度神经网络很难训练达到最优的问题，可以采用逐层训练方法解决。将上层训练好的结果作为下层训练过程中的初始化参数。在这一文献中深度模型的训练过程中逐层初始化采用无监督学习方式。

   2.2011年, 谷歌和微软研究院等采用深度神经网络技术将语音识别的错误率降低20%-30%，这是长期以来语音识别研究领域取得的重大突破。

   1. 2012年，IMageNet 将原来的错误率降低了9%；制药公司将深度神经网络应用于药物活性预测问题取得世界范围内最好结果；谷歌用神经网络自动识别猫的图像。

“深度”，是相对”浅层学习”方法而言的（支持向量机(SVM)、提升方法(boosting)、人工神经网络（ANN），最大熵方法等。深度学习所学得的模型中，非线性操作的层级数更多。
深度学习理论的另外一个理论动机是：如果一个函数可用k层结构以简洁的形式表达，那么用k-1层的结构表达则可能需要指数级数量的参数(相对于输入信号)，且泛化能力不足。深度学习结构相对于浅层学习结构，能够用更少的参数逼近高度非线性函数。

训练方法：

传统神经网络随机设定参数初始值，采用BP算法利用梯度下降算法训练网络，直至收敛。> 深度： 随机初始化权值极易使目标函数收敛到局部极小值，且由于层数较多，残差向前传播会丢失严重，导致梯度扩散，因此深度学习过程中采用贪婪无监督逐层训练方法。新的一层将前一层的输出作为输入并编码以用于训练；最后每层参数训练完后，在整个网络中利用有监督学习进行参数微调。
Hinton提出使用无监督预训练方法优化网络权值的初值，再进行权值微调的方法，拉开了深度学习的序幕

深度学习模块