Introduction
NAS系列方法大大提升了图片分类的精度,但是这些NAS系列方法是基于特定任务搜索出来的网络结构,提取出来的特征泛化性不高。而且NAS系列模型的训练效率和内存使用效率不高。NAS系列模型消耗很多内存,有些大模型不能使用合适的batch-size在GPU上训练。这限制了NAS系列模型用于其他应用,比如需要密集预测的分割任务。大多数针对计算机视觉任务的工作依然使用ResNet模型,因为ResNet模型简单,模块化设计使得ResNet适用于各种不同的任务。但是ResNet是基于图片分类任务来设计的,对于其他任务来说,它的感受野较少,没有通道之间的交互,使得它并不非常适用于其他任务。
作者借鉴了SE-Net Block和SK-Net Block,在残差块中引入了feature-map split attention,提出ResNeSt Block。ResNeSt Block把feature map分成多个组,在每个组是一个Split-Attention Block,如下图所示。把ResNet的残差块换成ResNeSt Block得到的网络结构,称作ResNeSt。
ResNeSt Block
ResNeSt Block把输入的feature map分成 K K K大组,每个大组再分成 R R R个小组,共 G = K R G=KR G=KR个组。每个组会经过一系列变化 { F 1 , F 2 , ⋯ , F G } \{\mathcal{F}_1, \mathcal{F}_2, \cdots, \mathcal{F}_G\} { F1,F2,⋯,FG},得到 U i = F i ( X ) , i ∈ 1 , 2 , ⋯ , G U_i = \mathcal{F}_i(X), i\in{1,2,\cdots,G} Ui=Fi(X),i∈1,2,⋯