TensorFlow学习－－LeNet5神经网络

LeNet5神经网络

简介

LeNet5由Yann LeCun于1994年提出，模型结构如图：

在模型中，每个卷积层包含三个部分：卷积/池化/非线性激活函数．并采用MLP作为分类器．同时层与层的稀疏连接减少了计算的复杂度．

网络结构

LeNet5神经网络结构：

• C1：卷积层
  输入为32*32的单通道图像，使用6个5*5大小的卷积核进行卷积，得到6个feature map．feature map大小为（32+1-5）*（32+1-5）＝28*28（步长为1）．
  如图，3*3大小的卷积核对7*7大小的图像卷积后的图像大小为（7+1-3）*（7+1-3）＝5*5
  
• S2：池化层
  池化过程通常也称为特征映射过程，实现了特征降维．常用方法有平均池化和最大池化．这里采用filter大小为2*2，步长为2的池化过程对C1层的6个feature map进行池化，因此对应得到的6个feature map大小为（28/2）*（28/2）＝14*14．
  如图使用2*2的filter，步长为2时分别采用两种平均池化和最大池化：
  平均池化，即filter内元素求和取均值：
  
  最大池化，即filter内元素求最大值：
  
• C3：卷积层
  卷积核大小为5*5，因此卷积后得到的feature map大小为（14+1-5）*（14+1-5）＝10*10．C3层中采用了16个5*5的卷积核，每个卷积核只与S2层中的部分feature map连接，连接方式如图：
  
  横向代表卷积核编号（0-15），纵向代表S2层中的6个feature map的编号（0-5）．如C3中的第0个feature map：卷积核0与S2中的第0/1/2个feature map 进行卷积（可看作是3维卷积）．这样得到16个10*10大小的feature map．
• S4：池化层
  与S2类似，同样采用2*2的单元．得到16个5*5大小的feature map.
• C5：卷积层
  120个大小为5*5的卷积核，每个都与S4中的所有feature map进行连接．得到的feature map大小为1*1．刚好形成全连接．
• F6：全连接层
  F6层有84个神经元，每个神经元与C5层的feature map进行全连接，得到一个84维的特征向量．然后用来做分类预测．

---

论文连接：Gradient-Based Learning Applied to Document Recognition