论文阅读理解 - ResNeXt - Aggregated Residual Transformations for DNN

ResNeXt - Aggregated Residual Transformations for Deep Neural Networks

[Paper]

[Code-Torch]

[Code-PyTorch]

[Code-Keras]

[Code-Caffe]

[Code-Tensorflow]

摘要：

高度模块化的网络结构，用于图像分类；

通过重复 build block 来构建网络，每个 build block 聚合了具有相同拓扑结构的变换集；

ResNeXt中，同类、multi-branch 结构的设计具有更少的参数. 引入了新的维度，即 Cardinality(涉及的变换集的尺寸)，作为网络 depth 和 width 维度之外的一种必要因子.

特点：

• 基于 ImageNet-1K 数据集，实验结果表明，在严格保证计算复杂度时，增加 Cardinality 能够提高图像分类精度；且，增加 Cardinality 比加深或者加宽网络结构更有效.
• 与 ResNet 相比，相同的精度， ResNeXt 计算量更少，参数更少. ResNeXt-50 接近 ResNet-101 的准确度.
• ResNeXt 网络模块化设计更合理，结构更简单，超参数量更少.

VGG-nets/ResNets： 堆叠相同形状的网络 building blocks；—— 网络 depth

Inceptions：split-transform-merge，将输入采用($1×1$ Conv)分裂为几个低维 embedding，再经过一系列特定 filters (如$3×3$，$5×5$)的变换，最后连接在一起.

ResNeXt：采用 VGGs/ResNets 的网络的 depth 加深方式，同时利用 split-transform-merge 策略.

1. Simple Neurons 回顾

ANN 中最简单的 neurons 是 inner product(内积)，其也可以看做是 aggregating transformation(聚合变换)：

$\sum _{i=1}^D w_i x_i$

其中， x=[x1,x2,