CNN--ResNeXt--Aggregated Residual Transformations for Deep Neural Networks

Paper：https://arxiv.org/pdf/1611.05431.pdf

Code：https://github.com/Cadene/pretrained-models.pytorch/blob/master/pretrainedmodels/models/resnext.py

 

简述：此网络属于ResNet系列。在保持计算和空间复杂度的前提下，通过构建可复用的一个block，这个block聚合了一组有相同拓扑的转换，实现分类精度相对于ResNet的提高。并且可以轻易的转换到其他的任务上。

      论文可以理解为ResNet和Inception的结合。通过将Inception中的block中的多个不同分支（1*1、3*3、5*5等）修改为统一的拓扑结构（3*3），其中包含了升维和降维（1*1）以减少计算量，而且增加了分支的数量；并采用了ResNet（shortcut）结构。以下为论文中的三种结构。

优点：

      1）：与 ResNet 相比，相同的参数个数，结果更好。 ResNeXt-101 网络，和  ResNet-200 准确度差不多，但是计算量只有后者的一半与 ResNet 相比。通过增加容量(变得更深或更宽)来提升模型精度相对简单，本文提升精度同时保持(或减少)复杂度。

      2）：基数（cardinality）是比深度和宽度 更有效的维度。

 

补充知识：

     1）：计算复杂度和空间复杂度的计算公式：

       M为输入特征图的size，K为卷积核的size，和分别为输入、输出的channel数。