【论文】ResNeSt: Split-Attention Networks

论文：https://arxiv.org/pdf/2004.08955v1.pdf
代码：https://github.com/zhanghang1989/ResNeSt
B站讲解：https://www.bilibili.com/video/BV1PV411k7ch#reply3078900535
目录

1. 作者试图解决什么问题
2. 研究方法的关键是什么
3. 哪些东西可以为你所用
4. 哪些参考文献可以跟进

一. 作者试图解决什么问题

二. 研究方法的关键是什么

split-attention

1. 论文贡献点，一是提出split-attetIon,二是resnest在迁移学习中，作为目标检测、实例分割、语义分割的backbone，均获得了sota效果。
2. 思想概述：Resnest借鉴了Multi-path和 Feature-map Attention思想, GoogleNet使用了Multi-path思想，ResNeXt使用了组卷积，SE-Net使用了通道注意力，SK-Net通过两个分支引入了特征图注意力

3. split-attention block
在一个resnet block中，一个feature可以被超参数K分为几组（a cardinal group），每个组内被分为R（超参数）个小小组(a radix group)，所以总共G=KR组，每个小小组使用transform。
不同的K组相加方式为元素相加，

三. 哪些东西可以为你所用

1. 论文中用到的tricks，如

• label smoothing
• mixup(78.31% to 79.15%)
• auto augmentation(提高0.26%)
• large crop size
• large mini batch
• regularization。
  最终提高到80.64%，可参照代码，具体实验效果参考论文
  
  

3. resnest用于分类，及迁移学习
   
   
   

4. block结构可以用于其他网络

四. 哪些参考文献可以跟进

todo：

1. attention相关
2. resnet家族及改进