深度学习之卷积神经网络总结

深度学习之卷积神经网络总结

深度神经网络是普通神经网络的深度化，普通神经网络的结构类似人脑皮层，因为其结构的优越性曾经引起研究的热潮，并成功提出BP算法。

神经网络的强大表征能力依靠其深度，深度越深，表征能力越强，同时训练难度也会越大。传统的BP算法在模型深度加深时会遇到局部最优和梯度扩散等难题，导致其深度模型的研究被搁置。

浅层神经网络表达能力不足，深层网络难以训练，导致神经网络逐渐受到冷落，直到Hinton于2006年使用逐层初始化和全局调优的方法解决了深度网络难以训练的难题，深度网络才重新受到重视。

早在1998年，Lecun就用深度卷积神经网络做手写数字识别，并取得了很好的效果。卷积神经网络因为其权值共享的特点，没有梯度扩散的问题，（也许局部极值点的情况也不严重），可以直接使用BP算法。但是这时候的卷积神经网络只适合做小图片的识别，大图片识别的效果并不好。（为什么？我认为原因是，该网络结构的广度和深度不够，对大图片的表达能力有限。而且，受限于当时的计算能力和数据量大小，无法进一步扩展网络结构。）

2012年，Hinton和他的两个学生使用扩展了广度和深度的卷积神经网络在ImageNet上达到了当时最佳的分类效果，