Aggregated Residual Transformations for Deep Neural Networks【ResNeXt翻译】

1. 论文链接
2. 代码链接（Pytorch）

介绍

$$图1$$
本文提出一种简单的体系结构，这个结构采用VGG和ResNet使用的层堆叠策略，同时以一种简单、可扩展的方式利用拆分-转换-合并的策略。我们网络中的一个模块执行一组转换，每个转换都在低维嵌入中进行，其输出通过求和进行聚合。我们追求该想法的简单实现——要聚合的转换都是相同的拓扑（如图1右边所示）。这种设计允许我们扩展到任何大量的转换，而不需要专门去设计。

在这种简化的情况下，我们的模型还有另外两种等效形式(图3)。图3(b)中的重构看起来类似于InceptionResNet模块，因为它连接了多条路径；但是我们的模块与所有现有的初始模块的不同之处在于，我们所有的路径共享相同的拓扑结构，因此可以很容易地将路径的数量分离出来作为一个要调查的因素。

我们的实验证明，即使在保持计算复杂度和模型大小的限制条件下，我们的聚合转换也比原始ResNet模块性能更好。例如，图1（右）旨在保持FLOPs和图1（左）相同的复杂性和参数数量。这里我们强调，虽然通过增加容量(更深或更宽)来提高精度相对容易，但在文献中很少出现在保持(或降低)复杂性的同时提高精度的方法。

我们的方法表明，基数(转换集的大小)是一个具体的、可测量的维度，除了宽度和深度维度之外，它还具有核心重要性。实验表明，增加基数比更深或更宽更有效地获得准确性，尤其是当深度和宽度开始给现有模型带来收益递减时。

ResNeXt (suggesting the next dimension), 在ImageNet分类数据集上优于ResNet-101/152，ResNet-200 ，Inception-v3和Inception-ResNet-v2。特别是，一个101层的ResNeXt能够达到比ResNet-200 [15]更好的精度，但复杂度只有50%。此外，ResNeXt展示了比所有初始模型简单得多的设计。

相关工作

多分支卷积网络
Inception模型是成功的多分支架构，其中每个分支都经过精心设计。ResNets可以认为是两个分支的网络，其中一个分支是身份映射。深度神经决策森林是具有学习分裂功能的树型多分支网络。

分组卷积
Krizhevsky等人给出分组卷积的动机是为了将模型分布在两个GPU上。Caffe ，Torch等库支持分组卷积，主要是为了兼容AlexNet。就我们所知，几乎没有证据表明利用分组卷积来提高精确度。分组卷积的一种特殊情况是信道定向卷积，其中组的数量等于信道的数量。信道方向的卷积是[35]中可分离卷积的一部分。分组卷积的一种特殊情况是通道级卷积，其中组数等于通道数。通道级卷积是中可分离卷积的一部分。

压缩卷积网络
分解(在空间和/或通道级)是一种被广泛采用的技术，用于减少深卷积网络的冗余并加速/压缩它们。IoAnuu等人为了减少计算量，提出了一种“根”模式的网络，根中的分支通过分组卷积来实现。这些方法显示出精确度与较低的复杂性和较小的模型尺寸之间的完美折衷。我们的方法不是压缩，而是一种经验性地显示出更强代表性的体系结构。

集成
平均一组独立训练的网络是提高准确率的有效解决方案，在识别比赛中被广泛采用。Veit等人将单个ResNet解释为浅层网络的集合，这是ResNet的相加行为的结果。我们的方法利用加法来聚合一组转换。但我们认为，将我们的方法视为集合是不准确的，因为要聚集的成员是联合训练的，而不是单独训练的。

方法

模板

$$表1$$

我们采用高度模块化的设计遵循VGG和ResNets。我们的网络由一堆残差块组成。这些块具有相同的拓扑，受VGG和ResNets启发，ResNeXt遵循两个简单的规则:

1. 如果生成相同大小的空间图，则块共享相同的超参数(宽度和过滤器大小)
2. 每次当空间图2倍下采样时，块的宽度乘以2倍。

第二个规则确保计算复杂度，就乘加运算中的浮点操作（FLOPs）而言，对所有块来说大致相同。

有了这两条规则，我们只需要设计一个模板模块，就可以相应地确定一个网络中的所有模块。因此，这两条规则大大缩小了设计空间，让我们可以专注于几个关键因素。由这些规则构建的网络如表1所示。

回顾简单神经元

人工神经网络中最简单的神经元执行内积(加权和)，这是由全连接层和卷积层完成的初等变换。内积可以被认为是聚合转换的一种形式：
$$\sum _{i=1}^D=w_i{x}_i,(1)$$

• $x=$