resnet56

input

input：（32,32,3）

conv 1

• 网络结构：conv
• 超参数：卷积核大小为3 * 3，过滤器个数为16，步长为1，padding=same（使输出大小和输入大小相同）
  通过计算可得：output_size = (input_size + 2*padding - kernel_size) / stride + 1
  过滤器个数的作用是获取不同的特征维度，升维/降维
  注：过滤器是卷积核的集合
• 输出：（32,32,3）-> （32,32,16）

stage 0

• 网络结构：Conv Block -> Identity Block -> Identity Block -> Identity Block -> Identity Block -> Identity Block
  注：stage 0 的 Conv Block 进行bn-relu操作之后分裂为两条路径，一条按原来的继续下去，另一条为shortcut connection
  
• 超参数：
  1. Conv Block
  （1） bottleneck1 — 卷积核大小为1 * 1，过滤器个数为16，步长为1
  （2）bottleneck2 — 卷积核大小为3 * 3，过滤器个数为16，步长为1
  （3）bottleneck3 — 卷积核大小为1 * 1，过滤器大小为64，步长为1 — 此处进行了特征升维
  （4）shortcut — 卷积核大小为1 * 1，过滤器大小为64， 步长为1
  
  2. Identity Block
  （1） bottleneck1 — 卷积核大小为1*1，过滤器个数为16，步长为1 — 此处进行了特征降维（因为上一层的过滤器个数是64，而这层是16）
  （2）bottleneck2 — 卷积核大小为3 * 3，过滤器个数为16，步长为1
  （3）bottleneck3 — 卷积核大小为1 * 1，过滤器大小为64，步长为1 — 此处进行了特征升维
  （4）shortcut — 原输入
  
• 输出：（32,32,16） -> （32,32,64）

stage 1

• 网络结构：Conv Block -> Identity Block -> Identity Block -> Identity Block -> Identity Block -> Identity Block
• 超参数：
  1. Conv Block
  （1） bottleneck1 — 卷积核大小为1 * 1，过滤器个数为64，步长为2 — 此处进行了下采样
  （2）bottleneck2 — 卷积核大小为3 * 3，过滤器个数为64，步长为1
  （3）bottleneck3 — 卷积核大小为1 * 1，过滤器大小为128，步长为1 — 此处进行了特征升维
  （4）shortcut — 卷积核大小为1 * 1，过滤器大小为128， 步长为1
  
  2. Identity Block
  （1） bottleneck1 — 卷积核大小为1 * 1，过滤器个数为64，步长为1 — 此处进行了特征降维
  （2）bottleneck2 — 卷积核大小为3 * 3，过滤器个数为64，步长为1
  （3）bottleneck3 — 卷积核大小为1 * 1，过滤器大小为128，步长为1 — 此处进行了特征升维
  （4）shortcut — 原输入
  
• 输出：（32,32,64） -> （16,16,128）

stage 2

• 网络结构：Conv Block -> Identity Block -> Identity Block -> Identity Block -> Identity Block -> Identity Block
• 超参数：
  1. Conv Block
  （1） bottleneck1 — 卷积核大小为1 * 1，过滤器个数为128，步长为2 — 此处进行了下采样
  （2）bottleneck2 — 卷积核大小为3 * 3，过滤器个数为128，步长为1
  （3）bottleneck3 — 卷积核大小为1 * 1，过滤器大小为256，步长为1 — 此处进行了特征升维
  （4）shortcut — 卷积核大小为1 * 1，过滤器大小为256， 步长为1
  
  2. Identity Block
  （1） bottleneck1 — 卷积核大小为1 * 1，过滤器个数为128，步长为1 — 此处进行了特征降维
  （2）bottleneck2 — 卷积核大小为3 * 3，过滤器个数为128，步长为1
  （3）bottleneck3 — 卷积核大小为1 * 1，过滤器大小为256，步长为1 — 此处进行了特征升维
  （4）shortcut — 原输入
  
• 输出：（16,16,128） -> （8,8,256）

last

• 网络结构：bn -> relu -> avg pool -> fc
• 输出：（8,8,256）-> （1,1,256）-> (256) -> (10)