深度学习100例-卷积神经网络（LeNet-5）深度学习里的“Hello Word” | 第22天

大家好，我是「K同学啊 」！

前几天翻译了一篇讲十大CNN结构的文章（「多图」图解10大CNN架构），原作者思路十分清晰，从时间线上，将近年来CNN发展过程中一些比较重要的网络模型做了一一介绍。我发现其中好像有几个网络模型并没有在《深度学习100例》出现，接下一段时间我将围绕这些网络模型进行实战讲解。

在90年代，由于支持向量机（Support Vecotr Machine，SVM）等算法的发展，深度学习的发展受到了很大的阻碍（尽管Geoffery Hinton在1986年发明的BP算法（Backpropagation）解决了神经网络的非线性分类学习的问题，但梯度消失的问题没有得到很好的解决）。但Yann LeCun等人坚持不懈，依然在该领域苦苦研究。1998年，Yann LeCun提出了LeNet-5网络。LeNet-5被誉为是卷积神经网络的“Hello Word”，足以见其重要性。

LeNet-5 是最简单的架构之一。它有 2 个卷积层和 3 个全连接层（LeNet-5 中的“5”——神经网络的名称通常来自于它们所具有的卷积层和全连接层的数量）。我们现在所知道的平均池化层被称为子采样层，它具有可训练的权重。这个架构有大约60,000 个参数。

📝刊物

• 论文：Gradient-Based Learning Applied to Document Recognition
• 作者：Yann LeCun、Léon Bottou、Yoshua Bengio 和 Patrick Haffner
• 发表于： IEEE Proceedings of the IEEE (1998)

🚀 我的环境：

• 语言环境：Python3.6.5
• 编译器：jupyter notebook
• 深度学习环境：TensorFlow2.4.1
• 数据和代码：