ResNet深度残差网络结构学习笔记

引入问题

面对复杂问题时，越深的网络往往会有更好的性能，但会发现，随着网络的加深，会出现训练集准确率下降的现象

ResNet介绍

为了解决这个问题，ResNet深度残差网络中的残差模块在输入和输出之间建立了一个直接连接，新增的层只需要在原来的输入层基础上学习新的特征，学习残差，允许网络尽可能的加深并且可以省时省步骤。

其中ResNet提出了两种mapping：
一种是identity mapping，指的就是图1中”弯弯的曲线”，另一种residual mapping，指的就是除了”弯弯的曲线“那部分，所以最后的输出是

identity mapping

指本身，也就是公式中的x，而residual mapping指的是“差”，也就是y−x，所以残差指的就是F(x)部分。

理论上，对于“随着网络加深，准确率下降”的问题，Resnet提供了两种选择方式，也就是identity mapping和residual mapping

如果网络已经到达最优，继续加深网络，residual mapping将被push为0，只剩下identity mapping，这样理论上网络一直处于最优状态了，网络的性能也就不会随着深度增加而降低了。

ResNet结构

类似于找捷径

两种ResNet设计

这两种结构别针对ResNet34（左图）和ResNet50/101/152（右图），一般称整个结构为一个”building block“。其中右图又称为”bottleneck design”，目的就是为了降低参数的数目。

对于右图，输入是一个3×3×256的特征，第一个步骤用64个1x1的卷积把256维channel降到64维，然后在最后通过1x1卷积恢复到256个channel，整体上用的参数数目：1x1x256x64 + 3x3x64x64 + 1x1x64x256 = 69632，

对于左图，不使用bottleneck，输入假设是3x3x256，第一步经过256个卷积核3×3×256，第二部再经过256个卷积核3×3×256。所以参数数目: 3x3x256x256x2 = 1179648，差了16.94倍。
对于常规ResNet，可以用于34层或者更少的网络中，对于Bottleneck Design的ResNet通常用于更深的如101这样的网络中，目的是减少计算和参数量（实用目的）。

问题解决

另，果F(x)和x的channel个数不同，那该如何相加呢？

实线和虚线分为两种方法

实线的的Connection部分(”第一个粉色矩形和第三个粉色矩形“)都是执行3x3x64的卷积，他们的channel个数一致，所以采用计算方式：
y=F(x)+x

虚线的的Connection部分(”第一个绿色矩形和第三个绿色矩形“)分别是3x3x64和3x3x128的卷积操作，他们的channel个数不同(64和128)，所以采用计算方式：
y=F(x)+W·x
其中W是卷积操作，用来调整x的channel维度的

常用ResNet结构

上面一共提出了5中深度的ResNet，分别是18，34，50，101和152
所有的网络都分成5部分，分别是：conv1，conv2_x，conv3_x，conv4_x，conv5_x

拿ResNet101举例，首先有个输入7x7x64的卷积，然后经过3 + 4 + 23 + 3 = 33个building block，每个block为3层，所以有33 x 3 = 99层，最后有个fc层(用于分类)，所以1 + 99 + 1 = 101层，确实有101层网络

注意：101层网络仅仅指卷积或者全连接层，而激活层或者Pooling层并没有计算在内； 这里我们关注50-layer和101-layer这两列，可以发现，它们唯一的不同在于conv4_x，ResNet50有6个block，而ResNet101有23个block，查了17个block，也就是17 x 3 = 51层。

基于ResNet101的Faster RCNN

把ResNet101应用在Faster RCNN上取得了更好的结果

基于ResNet101的Faster RCNN
展示了整个Faster RCNN的架构，其中蓝色的部分为ResNet101，可以发现conv4_x的最后的输出为RPN和RoI Pooling共享的部分，而conv5_x(共9层网络)都作用于RoI Pooling之后的一堆特征图(14 x 14 x 1024)，特征图的大小维度也刚好符合原本的ResNet101中conv5_x的输入
最后一定要接一个average pooling，得到2048维特征，分别用于分类和框回归

ResNet的公式