经典网络总结1 LeNet-5

经典网络总结

1 LeNet-5

1.1 模型介绍

LeNet-5是由LeCun提出的一种用于识别手写数字和机器印刷字符的卷积神经网络（Convolutional
Neural Network，CNN） ，其命名来源于作者LeCun的名字，5则是其研究成果的代号，在LeNet-5
之前还有LeNet-4和LeNet-1鲜为人知。LeNet-5阐述了图像中像素特征之间的相关性能够由参数共享的
卷积操作所提取，同时使用卷积、下采样（池化）和非线性映射这样的组合结构，是当前流行的大多数
深度图像识别网络的基础。

1.2 网络结构

如图4.1所示，LeNet-5一共包含7层（输入层不作为网络结构），分别由2个卷积层、2个下采样层和3
个连接层组成，网络的参数配置如表4.1所示，其中下采样层和全连接层的核尺寸分别代表采样范围和
连接矩阵的尺寸（如卷积核尺寸中的“551/1, 6" 表示核大小为551 、步长为1且核个数为6的卷积核）。

1.3 模型特性

1.卷积网络使用一个3层的序列组合：卷积、下采样（池化）、非线性映射（LeNet-5最重要的特
性，奠定了目前深层卷积网络的基础）
2.使用卷积提取空间特征
3.使用映射的空间均值进行下采样
4.使用tanh或sigmiod进行非线性映射
5.多层神经网络（MLP）作为最终的分类器
6.层间的稀疏连接矩阵以避免巨大的计算开销