ResNeXt - Aggregated Residual Transformations for Deep Neural Networks
摘要:
高度模块化的网络结构,用于图像分类;
通过重复 build block 来构建网络,每个 build block 聚合了具有相同拓扑结构的变换集;
ResNeXt中,同类、multi-branch 结构的设计具有更少的参数. 引入了新的维度,即 Cardinality(涉及的变换集的尺寸),作为网络 depth 和 width 维度之外的一种必要因子.
特点:
- 基于 ImageNet-1K 数据集,实验结果表明,在严格保证计算复杂度时,增加 Cardinality 能够提高图像分类精度;且,增加 Cardinality 比加深或者加宽网络结构更有效.
- 与 ResNet 相比,相同的精度, ResNeXt 计算量更少,参数更少. ResNeXt-50 接近 ResNet-101 的准确度.
- ResNeXt 网络模块化设计更合理,结构更简单,超参数量更少.
VGG-nets/ResNets: 堆叠相同形状的网络 building blocks;—— 网络 depth
Inceptions:split-transform-merge,将输入采用( 1×1 1 × 1 Conv)分裂为几个低维 embedding,再经过一系列特定 filters (如 3×3 3 × 3 , 5×5 5 × 5 )的变换,最后连接在一起.
ResNeXt:采用 VGGs/ResNets 的网络的 depth 加深方式,同时利用 split-transform-merge 策略.
1. Simple Neurons 回顾
ANN 中最简单的 neurons 是 inner product(内积),其也可以看做是 aggregating transformation(聚合变换):
∑Di=1wixi ∑ i = 1 D w i x i
其中, x=[x1,x