【BasicNet系列:二】ResNeXt 论文阅读解析 + pytorch 实现

ResNeXt是2017年提出的深度神经网络结构,结合了VGG的堆叠思想和Inception的split-transform-merge模式,通过group convolution提升性能。该网络减少了手动调节的超参数,与ResNet相比,相同参数量下表现更优。本文深入解读ResNeXt的cardinality概念,聚合变换(Aggregated Transformations)以及其PyTorch实现。
摘要由CSDN通过智能技术生成

2016 ImageNet Second
2017 CVPR

Aggregated ResidualTransformations for Deep Neural Networks

1、Introduce

采用 VGG 堆叠的思想和 Inception 的 split-transform-merge 思想,把convolution进化成为group convolution。

  • 网络结构简明,模块化
  • 需要手动调节的超参少
  • 与 ResNet 相比,相同的参数个数,结果更好
  • 打破或deeper,或wider的常规思路,ResNeXt引入一个新维度,称之为cardinality。
  • 因为分组了,多个分支单独进行处理,所以和原来整个一起卷积比,硬件执行效率上会低一点

2、Architecture

32 paths 符合split-transform-merge的模式,每个paths 一模一样(采用相同的卷积参数)

上面三个设计是等价设计, 最后一个C的结构, 极其类似ResNet的bottleneck,但是通道数却多的多。ResNeXt引入Inception结构,通过稀疏连接来approach之前的dense连接。

a是ResNeXt基本单元,如果把输出那里的1x1合并到一起,得到等价网络b拥有和Inception-ResNet相似的结构,而进一步把输入的1x1也合并到一起,得到等价网络c则和通道分组卷积的网络有相似的结构。

ResNeXt 只能在 block 的 depth>3时使用. 如果 block 的 depth=2,则会得到宽而密集的模块.

0、卷积的范式:split-transform-merge。

借鉴GoogleNet Inception的模式:split-tra

评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值