论文阅读：ResNeXt

ResNeXt

主要的创新点就在于把ResNet中相同拓扑结构的block和Inception进行了结合，使Inception的block也变成相同拓扑结构，增强了模型性能，但是复杂度没有增加多少。

1. Introduction

提出的问题：设计架构变得越来越难了，因为超参数的不断增加（如width，卷积核尺寸，步长等），这种情况在很多层架构中有体现。

解决方法：源于VGGnets，堆叠具有相同拓扑结构的模块。

提到了Inception模型，思想就是设计的拓扑结构可以在低理论复杂度的情况下，能够达到好的精度。Inception的重要的属性：split-transform-merge策略。

对Inception模型提出问题：虽然该模型有很好的精度，但是Inception模型的实现常常带有着一系列复杂的因素——卷积核的数量和尺寸是为每个独立的transformation进行设计的，并且模型必须是分阶段的。Inception很难迁移到新的数据集或者任务中，由于有很多的因素和超参数需要设计。

解决方法：其中transformation操作使用的都是同样的拓扑结构，不针对特定的数据集进行调整。然后作者还提出了其他两种等价的形式。最终作者选用了©的形式，因为作者认为更加简洁，且比其他两种形式更加的快。

重要结论：实验表明——比起让模型更深或更大，增加模型的cardinality（基数）是一种增加模型准确率的更有效方式。

2. Related Work

（1）多分枝卷积网络：Inception模型就是成功的多分枝架构，每个分支都是精心指定的；ResNet也可以看作是两分支。

（2）组卷积。

（3）压缩矩阵网络。

（4）多模型集成：对多个单独训练的网络进行平均是一种提高准确率的方法。因为ResNet采用additive behaviors，有人将ResNet理解为 一系列浅层网络的集成。在ResNeXt中，作者采用 加法 来聚合经过一系列变换后的结果，作者认为将ResNeXt看作是集成是不准确的，因为各个分支都是同时训练的。

3. Methods

3.1 Temple模板

遵循了两个原则：（1）如果特征图的大小不变时，标准堆叠（blocks共享超参数）（2）如果特征图的大小下采样后减半，则通道数增加一倍。

3.2 Aggregated Transformations

前面就说了Inception中不同分支具有不同的拓扑结构，因此获得的特征有刻意地人工雕琢的痕迹，然后Inception内部结构中存在这大量的超参数，这些超参数调整起来非常困难。所以作者的思想就是每个分支都使用相同的拓扑结构，那么这时候的Inception可以表示为

其中C是基数cardinality，T_i是任意的变换，例如一系列的卷积操作等。上面的图3中的(a)就是一个简化的Inception，其中T是由连续的卷积组成(1×1->3×3->1×1)。

3.3 Model Capacity

参数量计算的问题，左边普通的ResNet bottleneck参数量为256×64+64×3×3×64+64×256≈70k（卷积核的通道数要和输入的通道数相同）。右边，bottleneck的第一个卷积输出通道数为d，基数为C，则参数量为C∙(256∙d+d∙3∙3∙d+d∙256)，当C=32，d=4时，与普通的ResNet的bottleneck的参数量差不多。