经典的卷积神经网络结构总结

概览

本文将介绍几种经典的卷积神经网络模型，包括 LeNet-5，AlexNet，ResNet，VGGNet。
一般架构如下

• 定义超参数
  epoch，batch_size
• 定义函数进行网络架构
  初始化权重参数
• 构建计算图
  节点运算
• 启动会话
  输入数据，进行训练，打印输出

一、LeNet-5

（1）模型架构

（2）模型概述

• 第一层：输入层，输入的是$batchsize\ast 32\ast 32$的黑白分辨率图像
• 第二层：C1，卷积层，有6个特征图，卷积核大小为$5\ast 5$，深度为 6，没有使用全0填充且步长为1，所以共有$28\ast 28\ast 6$个神经元（32-5+1=28），参数数量为156（$5\ast 5\ast 6+6=156$，6为偏置项参数）,每一个单元与输入层的25个单元连接。
• 第三层：S2，池化下采样层，有6个特征图，每个特征图大小为$14\ast 14$，池化核大小为2*2，长和宽步长都为2。
• 第四层：C3，卷积层，卷积核大小为$5\ast 5$，有16个特征图，每个特征图大小为$10\ast 10(14-5+1=10)$，与第三层有着固定的连接。
• 第五层：S4，池化下采样层，有16个特征图，每个特征图大小为$5\ast 5(10/2)$，池化核大小为$2\ast 2$，长和宽步长都为2。
• 第六层：F5，全连接层，有$batchsi$