ResNeXt:Aggregated Residual Transformations for Deep Neural Networks
摘要
提出了 ResNeXt 架构,该架构依然采用堆叠构建块的方式构建。构建块内部采用分支结构。分支的数目称为 “基数”,作者认为,增加分支的数量比增加深度、宽度更高效。ResNeXt 在 ILSVRC 2016 分类比赛中获第二名。作者在 ImageNet-5K分类、COCO探测数据集上进行了实验,性能超过了 ResNet。代码和模型见[1]。
1. 简介
VGG、ResNet 采用了堆叠相同构建块来构建网络。Inception 对网络的组件进行精心设计,从而在更低的计算量取得较高的准确率。Inception 有一个核心逻辑:split-transform-merge。虽然 Inception 的解空间是 大卷积层的解空间的子空间,但我们期待使用 split-transform-merge 策略去接近大卷积、dense层的表示能力。
经过对组件精心的设计,Inception 的性能很高,但怎么去针对新数据集调整 Inception 的各个模块呢?
所以作者提出了 ResNeXt,它采用 VGG / ResNet 类似的堆叠方式,同时以一种简单,可扩展的方式实现了 Inception 中的 split-transform-merge 策咯。(结构如图 1 右)
上面的结构有两种等价形式(图 3)。图 3b 和 Inception-ResNet 模块类似,但这里的各个 path 一样。图 3c 采用了 AlexNet 中的分组卷积。
在实验中,ResNeXt 的性能超过 ResNet。增加基数比增加深度、宽度更加有效。ResNeXt&#