ResNeXt

1、网络结构（CVPR2017）

    这个网络结构是基于ResNet的，是ResNet的增强版。该网络的提出主要吸收了VGG/ResNet和Inception家族网络的优点。VGG/ResNet的优点是网络结构是通多堆叠相同拓扑结构的模块而成，这样的话可以减少超参数的自由选择，网络深度称为最根本的超参数。而Inception家族的网络的Inception模块都是精心设计的，但是都遵循一个特性，那就是split-transform-merge。Inception网络的这种设计可以用最低的计算复杂性达到大的和深的网络的表征能力。但是Inception有一个缺点就是超参数太多了，因此不知如何调整这个网络去适应新的数据集。在这篇文章中，ResNeXt吸收了VGG/ResNet的堆叠重复网络层的优点以及Inception家族的split-transform-merge策略。ResNeXt模块包含一系列转换，每个转换都基于一部分特征图，最后这些转换的输出通过相加进行融合。我们追求一种简单的实现，那就是所有的转换都是相同的拓扑结构，因此可扩展性非常强，而不同特殊设计。出了网络层宽度和深度外，ResNeXt单元中引入了一种新的维度称为“cardinality”，它代一个ResNeXt单元内相同的转换的个数，即分组的大小。实验表明，其它条件不变的情况下，增大cardinality的大小可以增大分类的准确率。

    如图所示，上面是论文提出的ResNeXt模块的三种的等价形式，第一种是输入的256通道特征图，通过32个1*1的卷积，生成32个通道数为4的特征图，然后每个组进行3*3的卷积，然后通过1*1的卷积升维到256通道，最后32个组的结果相加融合。第二种和第一种类似，只不过32组先进行concat，然后再通过1*1的卷积升维。第三种是先通过1*1的卷积降维为128通道的特征图，然后通过分组卷积后concat，最后用1*1的卷积进行升维。这里的分组卷积主要是来自于AlexNet。ResNeXt-50的整体网络结构如下（只是将ResNet单元换成了ResNeXt单元），而ResNeXt-101以及ResNeXt-152的结构也与此类推：

                                          

    ResNeXt单元的设计遵循：1）如果生成相同尺寸的特征图，那么这些分组共享相同的超参数（卷积核尺寸和通道数）；2）当特征图的尺寸下采样2倍时，特征图的通道数需要增加为原来的两倍，比如对于第一阶段的残差块的通道数为256时，分为32组，每组通道为数为4；而对于第二阶段的残差块通道数为512时，分为32组，每组的通道就为8。依此类推，通道数逐渐翻倍。

2、实验结果

    （1）下面两幅图为ablation实验，左图的实验表明，随着“cardinality”的增加，错误率在逐渐下降。右图的实验表明，通过增加ResNet的模型参数（即所有特征图的通道数加倍或者网络层数加深）带来的提升很微小，而通过增加“cardinality”，即增加ResNeXt单元的分组数带来的提升更大。

 

  （2）与其它state-of-the-art模型比较（单模型single-crop测试）

                                      

    此外，对于单模型多尺度或者多裁剪，论文实现了top5/top1的错误率为：17.7%/3.7%。而对于多模型融合，论文的top5错误率为3.03%。

3、参考

  ResNeXt源码和预训练模型（caffe）：https://github.com/cypw/ResNeXt-1

  论文：《Aggregated Residual Transformations for Deep Neural Network》