论文链接:https://arxiv.org/abs/1512.03385
在解决梯度消失和梯度爆炸的时候,我们提到过有一种解决思路使引入残差结构,下面具体介绍一下将这个结构与VGG模型结合后的ResNet。
网络结构如下:
在ResNet网络结构中会用到两种残差模块,一种是以两个3x3的卷积网络串接在一起作为一个残差模块,另外一种是1x1、3x3、1x1的3个卷积网络串接在一起作为一个残差模块,瓶颈残差网络结构,减少参数。他们如下图所示,左图对应的是浅层网络,而右图对应的是深层网络。。
设计网络的规则:
1.对于输出feature map大小相同的层,有相同数量的filters,即channel数相同;2. 当feature map大小减半时(池化),filters数量翻倍。
对于残差网络,维度匹配的shortcut连接为实线,反之为虚线。维度不匹配时,同等映射有两种可选方案:
1.直接通过zero padding 来增加维度(channel)。
2.乘以W矩阵投影到新的空间。实现是用1x1卷积实现的,直接改变1x1卷积的filters数目。这种会增加参数。
我们再回顾下