论文:https://arxiv.org/pdf/2004.08955v1.pdf
代码:https://github.com/zhanghang1989/ResNeSt
B站讲解:https://www.bilibili.com/video/BV1PV411k7ch#reply3078900535
目录
- 作者试图解决什么问题
- 研究方法的关键是什么
- 哪些东西可以为你所用
- 哪些参考文献可以跟进
一. 作者试图解决什么问题
二. 研究方法的关键是什么
split-attention
- 论文贡献点,一是提出split-attetIon,二是resnest在迁移学习中,作为目标检测、实例分割、语义分割的backbone,均获得了sota效果。
- 思想概述:Resnest借鉴了Multi-path和 Feature-map Attention思想, GoogleNet使用了Multi-path思想,ResNeXt使用了组卷积,SE-Net使用了通道注意力,SK-Net通过两个分支引入了特征图注意力
3. split-attention block
在一个resnet block中,一个feature可以被超参数K分为几组(a cardinal group),每个组内被分为R(超参数)个小小组(a radix group),所以总共G=KR组,每个小小组使用transform。
不同的K组相加方式为元素相加,
三. 哪些东西可以为你所用
- 论文中用到的tricks,如
- label smoothing
- mixup(78.31% to 79.15%)
- auto augmentation(提高0.26%)
- large crop size
- large mini batch
- regularization。
最终提高到80.64%,可参照代码,具体实验效果参考论文
-
resnest用于分类,及迁移学习
-
block结构可以用于其他网络
四. 哪些参考文献可以跟进
todo:
- attention相关
- resnet家族及改进