从SENet到ResNeSt

原文链接：https://www.yuque.com/yahei/hey-yahei/typical_cnn#NY1oJ

SENet

论文：《Squeeze-and-Excitation Networks (CVPR2018)》
提出了SE模块，是注意力机制的一种应用，学习特征图上通道间的相关性，作为权重ReScale各个通道；SE模块相当于一个轻量级的插件，可以方便地插入到已有的网络中去。
SE模块深受研究者们的喜爱，可以看到后来的新网络都热衷于使用SE模块。但实际应用中，带有SE模块的网络在量化时容易出现明显的性能下降，目前似乎没有很好的解决方案。


（红框部分即为SE-Block）
SE-Block结构上非常简单，
首先对特征图做全局平均池化拉成$$C$$维的向量，再经过两个FC层形成瓶颈结构（第一个FC收缩为$$\frac{C}{r}$$维，第二个FC再扩增回$$C$$维），第一个FC用ReLU激活，第二个FC用Sigmoid激活输出一系列0~1的权重对原始特征图进行ReScale操作。

其中$$r$$是超参数，作者通过实验指出，取$$r=16$$通常能取得比较好的结果（权衡计算量和性能提升）。


（SE-Inception和SE-ResNet）


（ImageNet上的实验结果）

SKNet

论文：《Selective Kernel Networks (CVPR2019)》
可以看作是SENet的一个改进，提出一个SK模块，与SE模块不同的是SK模块混合了两种大小的卷积核，以此获得不同感受野的特征信息。


（SK-Block）
SK-Block结构上也不复杂，

1. 分别对特征图$$X$$使用不同大小的卷积核进行特征提取（如图为3x3卷积核和5x5卷积核），分别得到 U ~ , U ^ \tilde{U}, \hat{U}