LeNet-5网络解读及代码实现

一、介绍

    LeNet-5被大规模用于自动分类美国银行支票上的手写数字。该网络是一种卷积神经网络（CNN）。CNNs是现代最先进的基于深度学习的计算机视觉基础。这些网络建立在三个主要思想之上：局部感受野(local receptive fields)、共享权重( shared weights )和空间子抽样(spacial subsampling)。具有共享权重的局部感受野是卷积层的本质，下面描述的大多数结构以一种或另一形式使用卷积层。

    LeNet之所以是一个重要的体系结构，另一个原因是在LeNet发明之前，字符识别主要是通过手工特征工程来完成的，其次是机器学习模型来学习如何对手工特征进行分类。LeNet使得手工工程特征变得多余，因为网络自动从原始图像中学习最佳的内部表示。

二、卷积神经网络

    在传统的模式识别任务中，通常需要先人工设计特征抽取方法，从输入变量中消除不相关的变量，然后构造特征，再使用一个分类器方法进行分类。在这种情况下，全连接的多层神经网络作为分类器使用。但是，我们也可以依赖算法自己学习特征抽取的部分。以字符识别为例，我们可以以几乎原始的输入数据来作为网络的输入。但是这也有一些问题：

    首先，一般来说图片都是比较大的，一个图片通常都有好几百个变量（像素）。假如神经网络的第一层有100个神经元。那么这里就已经有数以万计的权重了。这么大的参数数量需要更复杂的系统，更多的训练集样本。此外，这么多的参数也需要更多的内存，这就已经让一些机器无法使用了。但是，最主要的问题还是这样的网络不能处理不同输入的情况。在输入到神经网络固定大小的的第一层之前，输入的图像必须是标准大小，且是图像的正中间（也就是输入的图像需要比较正式，不能偏差太大）。不幸的是，并没有一个完美的预处理方法可以达到这样的效果。因为输入的图像一般不是很正规的图像，大小、位置甚至是风格都不同。当然，如果网络足够大，这样的有较大差别的图像也是可以处理的，只是这需要很大的网络，目前这样的网络无法训练。

    其次，全连接网络也会忽视输入的拓扑特征。输入变量可以以任何顺序呈现，但却不影响输出。但实际上，图像有很强的局部特征：那些相近的变量具有很强的相关性。局部相关性也就是为什么在识别空间或者时间相关的目标的时候，先抽取并联合局部特征可以提升效果。因为相邻的变量可以被分到一个相同的小类别中。

    卷积网络联