CNN入门算法LeNet-5介绍（论文详细解读）

本文是深度学习经典算法解读的一部分，原文发之：https://www.datalearner.com/blog/1051558603213207

（本网站是合肥工业大学电子商务研究所的知识分享网站。）

来源论文：LeCun, Yann, et al. “Gradient-based learning applied to document recognition.” Proceedings of the IEEE 86.11 (1998): 2278-2324.

LeNet-5是LeCun大神在1998年提出的卷积神经网络算法。本篇博客将简要解释相关内容。

在90年代，由于支持向量机（Support Vecotr Machine，SVM）等算法的发展，深度学习的发展受到了很大的阻碍（尽管Geoffery Hinton在1986年发明的BP算法（Backpropagation）解决了神经网络的非线性分类学习的问题，但梯度消失的问题没有得到很好的解决）。但LeCun等人坚持不懈，依然在该领域苦苦研究。1998年，LeCun提出了LeNet-5网络用来解决手写识别的问题。LeNet-5被誉为是卷积神经网络的“Hello Word”，足以见到这篇论文的重要性。在此之前，LeCun最早在1989年提出了LeNet-1，并在接下来的几年中继续探索，陆续提出了LeNet-4、Boosted LeNet-4等（LeNet-2和LeNet-3并没有找到相关资料）。

LeCun也把自己发表的与LeNet相关的论文放到了一起，从1989年到1998年之间共12篇论文。详细请参考：http://yann.lecun.com/exdb/lenet/index.html

本篇博客将详解LeCun的这篇论文，并不是完全翻译，而是总结每一部分的精华内容。第一部分介绍里面说了很多与深度学习有关的经验和内容，比如为什么大数据对深度学习有好处？基于梯度的反向传播算法在深度学习中的作用等等。这些问题的答案在上世纪90年代就有了答案了。第二部分的第一节讲了为什么卷积网络在图像识别领域比全连接网络有效。然后描述了LeNet-5的网络结构，最后总结一下LeNet-5中过时的操作，改进方向等。如果只对LeNet-5感兴趣，可以直接跳到2.B小节中。

关于为什么LeNet-5如此重要，可以参考：

LeNet-5 was used on large scale to automatically classify hand-written digits on bank cheques in the United States. This network is a convolutional neural network (CNN). CNNs are the foundation of modern state-of-the art deep learning-based computer vision. These networks are built upon 3 main ideas: local receptive fields, shared weights and spacial subsampling. Local receptive fields with shared weights are the essence of the convolutional layer and most architectures described below use convolutional layers in one form or another.

Another reason why LeNet is an important architecture is that before it was invented, character recognition had been done mostly by using feature engineering by hand, followed by a machine learning model to learn to classify hand engineered features. LeNet made hand engineering features redundant, because the network learns the best internal representation from raw images automatically.

来自： https://medium.com/pechyonkin/key-deep-learning-architectures-le