resnet的演化(res2net,resnext,se-resnet,sk-resnet,resnest)
1. 总体演化过程
演化方向主要为两种: split-transform-merge、squeeze-and-attention。
split-transform-merge:通过卷积的可分离性质,增加网络宽度,从而在不增加算力的情况下增加网络的表征能力(不同维度通道特征的融合)。
squeeze-and-attention:核心想法是应用全局上下文预测 channel-wise 的注意力因素(孰轻孰重)。
黄色箭头为演化方向和过程(颜色的深浅代表借鉴的程度),resnest完美的借鉴了两种思想。
2. split Attention
2.1 se-split Attention:
上图是SE 模块的示意图。给定一个输入 x,其特征通道数为 c_1,通过一系列卷积等一般变换后得到一个特征通道数为 c_2 的特征