ResNeXt创新点解析

《Aggregated Residual Transformations for Deep Neural Networks》

1.亮点：

利用分组卷积，构建一种平行堆叠相同拓扑结构的block；

在不明显增加参数的情况下提升了准确率，结构简单，具有更好的通用性。

之前的网络模型存在的问题

• 传统的要提高模型的准确率，都是加深或加宽网络，但是随着超参数数量的增加（比如channels数，filter size等等），网络设计的难度和计算开销也会增加。
• 类似 Inception 系列的网络又存在人为对网络超参数设定的针对性比较强，当应用在别的数据集上时需要修改许多参数，因此可扩展性一般。

2.网络结构：

分支的个数就是 cardinality，例如右图分32组卷积，每组4个进行卷积。 此处借鉴了 GoogLeNet 的 split-transform-merge，和 VGG/ResNets 的 repeat layer。split-transform-merge 是指通过在大卷积核层两侧加入 1x1 的网络层，控制核个数，减少参数个数的方式；而 repeat layer 则是指重复相同的几层，前提条件是这几层的输出输出具有相同的维度，一般在不同的 repeat layers 之间使用 strip=2 降维，同时核函数的个数乘 2。

网络参数

 网络模型形式：在数学上完全等价

3.分组卷积 

普通卷积： 

（图片来自网络，侵删）

 

输出数据为：输入feature map尺寸：W × H × C ，分别对应feature map的宽，高，通道数；
单个卷积核尺寸：k × k × C ，分别对应单个卷积核的宽，高，通道数；输出feature map尺寸 ：W ′ × H ′×N(卷积核个数，这里假设为1）

分组卷积：（图片来自网络，侵删）

输入每组feature map尺寸：W × H × ，共有g组；单个卷积核每组的尺寸：k × k × ，卷积核被分成了g组；输出feature map尺寸：W' × H' × g ，共生成g个feature map。

（图片来自网络，侵删）

普通卷积参数量k×k×C1 × C2 
分组卷积参数量k×k×C1/g×C2/g×g (参数量减少为原来的1/g)

4.创新点 

 作者基于Iception与ResNet提出了一种平行堆叠且相同拓扑结构的blocks，在不明显增加参数量的情况下提升了模型的准确率，同时相同的拓扑结构使网络超参数减少，便于模型进行移植。

仅为学习记录。侵删！