《ResNeSt: Split-Attention Networks》笔记

Introduction

NAS系列方法大大提升了图片分类的精度，但是这些NAS系列方法是基于特定任务搜索出来的网络结构，提取出来的特征泛化性不高。而且NAS系列模型的训练效率和内存使用效率不高。NAS系列模型消耗很多内存，有些大模型不能使用合适的batch-size在GPU上训练。这限制了NAS系列模型用于其他应用，比如需要密集预测的分割任务。大多数针对计算机视觉任务的工作依然使用ResNet模型，因为ResNet模型简单，模块化设计使得ResNet适用于各种不同的任务。但是ResNet是基于图片分类任务来设计的，对于其他任务来说，它的感受野较少，没有通道之间的交互，使得它并不非常适用于其他任务。

作者借鉴了SE-Net Block和SK-Net Block，在残差块中引入了feature-map split attention，提出ResNeSt Block。ResNeSt Block把feature map分成多个组，在每个组是一个Split-Attention Block，如下图所示。把ResNet的残差块换成ResNeSt Block得到的网络结构，称作ResNeSt。

ResNeSt Block

ResNeSt Block把输入的feature map分成$K$大组，每个大组再分成$R$个小组，共$G=KR$个组。每个组会经过一系列变化 { F 1 , F 2 , ⋯   , F G } \{\mathcal{F}_1, \mathcal{F}_2, \cdots, \mathcal{F}_G\} { F1​,F2​,⋯,FG​}，得到$U_i={\mathcal{F}}_i(X),i\in 1,2,\cdots$