ResNeSt网络结构概要解读

本篇主要介绍ResNeSt，其他相关系列及其变体见如下blog目录

ResNet系列及其变体目录

---

ResNeSt: Split-Attention Networks

enables attention across feature-map groups，提出Split-Attention模块。

---

背景知识

基于Multi-path and Feature-map Attention。

• GoogleNet中提出Multi-path，其中每个网络块由不同的卷积内核组成。
• ResNeXt在中采用group convolution，具体见我的另一篇blog:ResNet系列及其变体(四)—ResNeXt
• SE-Net 提出 channel-attention 来重新调整通道响应。具体见我的另一篇blog:SENet网络结构概要解读
• SK-Net 引入 feature-map attention acrosss two network branches.具体见我的另一篇blog:SKNet网络结构概要解读

SE-Net、SK-Net和 论文提出的ResNeSt block结构图如下 ：

---

Split-Attention Block

Feature-map Group
feature map被分为多个group，每个group又进行分组。
超参数K：表示group数目（ cardinality hyperparameter）
超参数R：表示基数组内的split数（radix hyperparameter）
总feature map的group数 $G=KR$

对每一个group，transformations { F 1 , F 2 , . . . , F G } \{\mathcal F_1, \mathcal F_2, ...,\mathcal F_G\} { F1​,F