Paper:https://arxiv.org/pdf/1611.05431.pdf
Code:https://github.com/Cadene/pretrained-models.pytorch/blob/master/pretrainedmodels/models/resnext.py
简述:此网络属于ResNet系列。在保持计算和空间复杂度的前提下,通过构建可复用的一个block,这个block聚合了一组有相同拓扑的转换,实现分类精度相对于ResNet的提高。并且可以轻易的转换到其他的任务上。
论文可以理解为ResNet和Inception的结合。通过将Inception中的block中的多个不同分支(1*1、3*3、5*5等)修改为统一的拓扑结构(3*3),其中包含了升维和降维(1*1)以减少计算量,而且增加了分支的数量;并采用了ResNet(shortcut)结构。以下为论文中的三种结构。
优点:
1):与 ResNet 相比,相同的参数个数,结果更好。 ResNeXt-101 网络,和 ResNet-200 准确度差不多,但是计算量只有后者的一半与 ResNet 相比。通过增加容量(变得更深或更宽)来提升模型精度相对简单,本文提升精度同时保持(或减少)复杂度。
2):基数(cardinality)是比深度和宽度 更有效的维度。
补充知识:
1):计算复杂度和空间复杂度的计算公式:
M为输入特征图的size,K为卷积核的size,和
分别为输入、输出的channel数。