ResNet

出处：

《Deep Residual Learning for Image Recognition》

背景：

如果神经网络越来越深，这个神经网络可能会出现退化(degradation) 的现象。这里说的退化是指网络层级加深后，训练的准确率却可能出现饱和的现象。

通俗来讲，就是在一个浅层的网络模型上进行改造，然后将新的模型与原来的浅层模型相比较，这里有个底线就是，改造后的模型至少不应该比原来的模型表现要差。因为新加的层可以让它的结果为 0，这样它就等同于原来的模型了。这个假设是 ResNet 的出发点。

ResNet-50网络结构:

• 输入：224*224*3，三通道（0~255）- 对应均值，RGB转BGR
• 第一阶段：卷积+maxpool
• 第二阶段：Conv Block + ID Block * 2
• 第三阶段：Conv Block + ID Block * 3
• 第四阶段：Conv Block + ID Block * 5
• 第五阶段：Conv Block + ID Block * 2，输出2048*7*7
• 第六阶段：avgpool（7*7）+FC

Conv Block：

Identity Block：

区别在于快捷连接会不会经过卷积，且三四五阶段的Conv Block会进行下采样，尺度减半。利用1*1卷积核保持尺度不变但减少通道数，3*3卷积核执行下采样。