1. resnet由来
一般印象当中,深度学习网络越深(复杂,参数多)越有着更强的表达能力,可后来我们发现当网络达到一定深度后,再一味地增加网络层数并不能带来网络的性能提高,反而会招致网络收敛变得更慢,分类准确率也变得更差(网络性能退化)。
2. 残差网络和普通网络结构对比
在ResNet中,右图结构单元叫残差块。
残差块有如下优点:
1. 易实现H(x)=x,其只需将权重值设定为0
2. 易实现H(x)=x + delta(x),便于网络对微小波动进行调节(残差的思想都是去掉相同的主体部分,从而突出微小的变化)
3. Bottleneck模块
Bottleneck模块通过1*1卷积降维再进行卷积操作,从而缩小模型训练和预测所需的时间以及模型的大小。
并通过在1*1的卷积进行升维保证输出达到指定的维度。其对最终的模型精度并无影响。
4. Res50结构分析
4.1 layer 1
ResNet50 layer1
和Basicblock不同的一点是,每一个Bottleneck都会在输入和输出之间加上一个卷积层,只不过在layer1中还没有downsample,这点和Basicblock是相同的。至于一定要加上卷积层的原因,就在于Bottleneck的conv3会将输入的通道数扩展成原来的4倍,导致输入一定和输出尺寸不同。
layer1的3个block结构完全相同,所以图中以“×3 \times 3×3”代替。
4.2 layer 2
ResNet50 layer2
尺寸为256×56×56 256\times56\times56256×56×56的输入进入layer2的第1个block后,首先要通过conv1将通道数降下来,之后conv2负责将尺寸降低(stride=2,图6从左向右数第2个红圈标注)。到输出处,由于尺寸发生变化,需要将输入downsample,同样是通过stride=2的1×1 1\times11×1卷积层实现。
之后的3个block(layer2有4个block)就不需要进行downsample了(无论是residual还是输入),如图6从左向右数第3、4个红圈标注,stride均为1。因为这3个block结构均相同,所以图6中用“×3 \times 3×3”表示。
4.3 layer3-4
layer3和layer4结构和layer2相同,无非就是通道数变多,输出尺寸变小,就不再赘述。
参考资料:
ResNet网络结构分析: https://zhuanlan.zhihu.com/p/79378841