CNN系列学习(七):ResNet

本文深入探讨ResNet网络结构,包括两种残差模块:3x3卷积串接和1x1、3x3、1x1的瓶颈结构。通过残差学习,解决梯度消失问题,使得网络可以达到上千层。文中还分析了残差单元的数学表达式,并介绍了最佳残差结构布局,以及ReLU和BN层的位置对性能的影响。
摘要由CSDN通过智能技术生成

论文链接:https://arxiv.org/abs/1512.03385
在解决梯度消失和梯度爆炸的时候,我们提到过有一种解决思路使引入残差结构,下面具体介绍一下将这个结构与VGG模型结合后的ResNet。
网络结构如下:
在这里插入图片描述
在ResNet网络结构中会用到两种残差模块,一种是以两个3x3的卷积网络串接在一起作为一个残差模块,另外一种是1x1、3x3、1x1的3个卷积网络串接在一起作为一个残差模块,瓶颈残差网络结构,减少参数。他们如下图所示,左图对应的是浅层网络,而右图对应的是深层网络。。
在这里插入图片描述
设计网络的规则:
1.对于输出feature map大小相同的层,有相同数量的filters,即channel数相同;2. 当feature map大小减半时(池化),filters数量翻倍。
对于残差网络,维度匹配的shortcut连接为实线,反之为虚线。维度不匹配时,同等映射有两种可选方案:
1.直接通过zero padding 来增加维度(channel)。
2.乘以W矩阵投影到新的空间。实现是用1x1卷积实现的,直接改变1x1卷积的filters数目。这种会增加参数。

我们再回顾下

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值