resnet的演化（res2net，resnext，se-resnet，sk-resnet，resnest）

resnet的演化（res2net，resnext，se-resnet，sk-resnet，resnest）

1. 总体演化过程

演化方向主要为两种： split-transform-merge、squeeze-and-attention。

split-transform-merge：通过卷积的可分离性质，增加网络宽度，从而在不增加算力的情况下增加网络的表征能力（不同维度通道特征的融合）。

squeeze-and-attention：核心想法是应用全局上下文预测 channel-wise 的注意力因素（孰轻孰重）。

黄色箭头为演化方向和过程（颜色的深浅代表借鉴的程度），resnest完美的借鉴了两种思想。

2. split Attention

2.1 se-split Attention:

上图是SE 模块的示意图。给定一个输入 x，其特征通道数为 c_1，通过一系列卷积等一般变换后得到一个特征通道数为 c_2 的特征