ResNest:Split-Attention Networks

1.文章动机

针对识别的网络结构自ResNet以来已经发生了很多改进版本，这些网络的在精度和效率上都得到了提升，但是这些网络的设计初衷都是为分类网络，对于下游应用如检测，分割并不是十分友好，所以这些网络目前基本还是以ResNet作为架构，并且做一些特定的优化如PPM(金字塔池化)等等，因此本文考虑设计一种基于ResNet的通用改进网络，无论是上游还是下游任务均有很大提升。并且之前的研究表明，跨通道的信息是非常有用的，而且使用多通道组卷积也十分有用，因此作者将会从这两个方面着手解决。

2.方法

该部分会加入自己之前的很多知识的查缺和进一步理解。

在此补充一点，之前我只指导SE是加在通道维度的，对于其和网络的整体架构并没有意识，其实SENet是用在一个残差block里面，也就是上图中的最左边的图，是在block的整个流程结束后加注意力的，具体细节如下图所示。
接下来我们来讲ResNest, 该文章原理图如Fig1中的最右边的图所示，将一个输入先分为K个cardinal,然后在每个Cardinal中又分为R个split,对于每个split里面的分支做与SKNet相似的监督机制。监督机制原理如下图所示