浅层神经网络与深度学习对比

一、 BP神经网络衰落
1986年，Geoffrey Hinton和David Rumelhart联合在Nature上发表论文，将BP算法用于神经网络模型，实现了对权重参数的快速计算。1990年，Yann LeCun发表文章，采用BP神经网络实现对手写数字的识别，这可以被视作神经网络的“第一个”重大应用。俄罗斯学者Vladmir Vapnik在1963年提出的支撑向量机（Support Vector Machine，SVM）概念则不断深入发展。到2002年，已将手写数字识别的错误率降至0.56%，远高于同期神经网络的效果。神经网络的研究迎来了第二次寒冬。
二、 深度学习的兴起
主要得益于三个方面的原因：首先，新方法的出现，为神经网络深度的拓展解决了梯度弥散的问题；其次，大量已标注数据的出现，为神经网络的训练做好了数据准备；最后，GPU（图形处理器）的使用，为卷积计算提供了高速解决方案。


学术专业回答：
Hinton和Bengio、Yann.lecun等提成了一个实际可行的deep learning框架：
2006年Geoffrey Hinton和他的学生Ruslan Salakhutdinov在顶尖学术刊物《科学》上发表了一篇文章，开启了深度学习在学术界和工业界的浪潮。这篇文章有两个主要的信息：
1.多隐层的人工神经网络具有优异的特征学习能力，学习得到的特征对数据有更本质的刻画，从而有利于可视化或分类；
2.深度神经网络在训练上的难度，可以通过“逐层初始化”（Layer-wise Pre-training）来有效克服，在这篇文章中，逐层初始化是通过无监督学习实现的。


三、 深度神经网络比浅层神经网络的优越之处
浅层结构算法：其局限性在于有限样本和计算单元情况下对复杂函数的表示能力有限，针对复杂分类问题其泛化能力受到一定制约。深度学习可通过学习一种深层非线性网络结构，实现复杂函数逼近，表征输入数据分布式表示，并展现了强大的从少数样本集中学习数据集本质特征的能力。（多层的好处是可以用较少的参数表示复杂的函数）
深度学习的实质，是通过构建具有很多隐层的机器学习模型和海量的训练数据，来学习更有用的特征，从而最终提升分类或预测的准确性。