网络结构（1）ResNeXt介绍及cardinality介绍

写这篇文章是因为最近在阅读论文的过程中，接触到了“cardinality”这个概念，出自2017年CVPR何凯明大神组的论文Aggregated Residual Transformations for Deep Neural Networks，也是提出了ResNet的改进版ResNeXt。
重点介绍ResNeXt中block的结构及“cardinality”基数这个概念。

1. ResNeXt中block的结构

上图中左边是ResNet常用的卷积块结构，右边是ResNeXt的卷积块结构，输出可用下面的公式表示：

其中y是output， $T$ 是任意函数，类似于几层卷积结构。它将x映射到一个embedding，之后变换它。C是变换集合的大小，也就是cardinality。本文中使所有的 $T$具有相同的拓扑结构。

2. 模型能力

图1(left)参数量 = 256 · 64 + 3 · 3 · 64 · 64 + 64 · 256 ≈ 70k
图2(right)参数量 = C · (256 · d + 3 · 3 · d · d + d · 256)，当d=4，C=32，参数量≈ 70k

C和d的关系：