深度学习（5）：LeNet详解

一.文献摘要

论文下载：https://ieeexplore.ieee.org/document/5265772?denied=

代码地址：https://github.com/ganyc717/LeNet

LeNet-5出自论文Gradient-Based Learning Applied to Document Recognition，是一种用于手写体字符识别的非常高效的卷积神经网络。

本文将从CNN基本的网络结构卷积层、池化层开始，详细的记录LeNet的每一个层。

二.卷积神经网络

卷积神经网络是一种特殊的多层神经网络，像其它的神经网络一样，卷积神经网络也使用一种反向传播算法来进行训练，不同之处在于网络的结构。卷积神经网络的网络连接具有局部连接、参数共享的特点。局部连接是相对于普通神经网络的全连接而言的，是指这一层的某个节点只与上一层的部分节点相连。参数共享是指一层中多个节点的连接共享相同的一组参数。

一个典型的神经网络的结构是全连接的，即某一层的某个节点与上一层的每个节点相连，且每个节点各自使用一套参数，这样的结构就是经典的全连接结构。在全连接的网络中，假如k层有n个节点，k+1层有m个节点，则一共有n*m个连接；每个连接都有一个参数，外加每个k+1层节点有一个bias，则共有n*m + m个训练参数，所以全连接的层的连接数、参数数量的数量级约为O(n^2)。全连接的网络的结构如下图：

卷积神经网络采用局部连接和参数共享的方式连接网络。对于一个卷积神经网络，假如该网络的第k层有n个节点，k+1层为卷积层且有m个节点，则k+1层的每个节点只与k层的部分节点相连，此处假设只与k层的i个节点相连（局部连接）；另外k+1层的每个节点的连接共享相同的参数、相同的bias（参数共享）。这样该卷积神经网络的第k、k+1层间共有m*i个连接、i+1个参数（m*i+1个参数，不确定的地方）。由于i小于n且为常数，所以卷积层的连接数、参数数量的数量级约为O(n)，远小于全连接的O(n^2)的数量级。卷积神经网络的部分连接的结构如下图：

部分连接且卷积层各节点的输入节点有重叠的网络

部分连接且卷积层各节点的输入节点无重叠的网络

全连接：连接个数n*m                      局部连接：连接个数i*m 
参数不共享：参数个数n*m+m          参数共享：参数个数i+1
 

2.1卷积层

卷积神经网络能够很好的利用图像的结构信息。LeNet-5是一个较简单的卷积神经网络。下图显示了其结构：输入的二维图像，先经过两次卷积层到池化层，再经过全连接层，最后使用softmax分类作为输出层。下面我们主要介绍卷积层和池化层。

LenNet-5共有7层（不包括输入层），每层都包含不同数量的训练参数