一、介绍
LeNet-5被大规模用于自动分类美国银行支票上的手写数字。该网络是一种卷积神经网络(CNN)。CNNs是现代最先进的基于深度学习的计算机视觉基础。这些网络建立在三个主要思想之上:局部感受野(local receptive fields)、共享权重( shared weights )和空间子抽样(spacial subsampling)。具有共享权重的局部感受野是卷积层的本质,下面描述的大多数结构以一种或另一形式使用卷积层。
LeNet之所以是一个重要的体系结构,另一个原因是在LeNet发明之前,字符识别主要是通过手工特征工程来完成的,其次是机器学习模型来学习如何对手工特征进行分类。LeNet使得手工工程特征变得多余,因为网络自动从原始图像中学习最佳的内部表示。
二、卷积神经网络
在传统的模式识别任务中,通常需要先人工设计特征抽取方法,从输入变量中消除不相关的变量,然后构造特征,再使用一个分类器方法进行分类。在这种情况下,全连接的多层神经网络作为分类器使用。但是,我们也可以依赖算法自己学习特征抽取的部分。以字符识别为例,我们可以以几乎原始的输入数据来作为网络的输入。但是这也有一些问题:
首先,一般来说图片都是比较大的,一个图片通常都有好几百个变量(像素)。假如神经网络的第一层有100个神经元。那么这里就已经有数以万计的权重了。这么大的参数数量需要更复杂的系统,更多的训练集样本。此外,这么多的参数也需要更多的内存,这就已经让一些机器无法使用了。但是,最主要的问题还是这样的网络不能处理不同输入的情况。在输入到神经网络固定大小的的第一层之前,输入的图像必须是标准大小,且是图像的正中间(也就是输入的图像需要比较正式,不能偏差太大)。不幸的是,并没有一个完美的预处理方法可以达到这样的效果。因为输入的图像一般不是很正规的图像,大小、位置甚至是风格都不同。当然,如果网络足够大,这样的有较大差别的图像也是可以处理的,只是这需要很大的网络,目前这样的网络无法训练。
其次,全连接网络也会忽视输入的拓扑特征。输入变量可以以任何顺序呈现,但却不影响输出。但实际上,图像有很强的局部特征:那些相近的变量具有很强的相关性。局部相关性也就是为什么在识别空间或者时间相关的目标的时候,先抽取并联合局部特征可以提升效果。因为相邻的变量可以被分到一个相同的小类别中。
卷积网络联