【存档】ResNet

ResNet笔记整理

网络结构讲解：网络讲解
网络详解
代码：代码

（1）提出residual结构（残差结构），并搭建超深的网络结构(突破1000层)
（2）使用Batch Normalization加速训练(丢弃dropout)

一、Residue

shortcut和主干输出的结构必须一致。

Basic Block：Resnet 18&34

• 虚线结构：Conv3、Conv4、Conv5第一个残差块；
  stride=2，使尺寸变为一半，通道数变两倍
• 实线结构：其余残差块；
  不对shortcut处理，尺寸深度不变

BottleNeck：Resnet 50&101&152

卷积1x1用来降维、升维
expansion = 4

• 虚线结构：
  conv2第一个残差块：通道数变为2倍；stride=1，即尺寸不变；
  conv345第一个残差块：通道数变为2倍；stride=2，尺寸变为一半；
• 实线结构：其余残差块，不改变尺寸深度

虚线表示虚线结构

二、Batch Normalization

详解：详解

在每个channel分别独立计算，以一个batch为单位进行计算均值和方差，对该batch样本标准化$\sim \mathcal{N}(0,1)$