【CV中的Attention机制】ShuffleAttention

【GiantPandaCV导语】这个系列已经好几个月没有更新了，开始继续更这个方向论文，19年、20年又出现了很多关于Attention的研究，本文SA-Net:shuffle attention for deep convolutional neural networks 发表在ICASSP 21，传承了SGE的设计理念的同时，引入Channel Shuffle，达到了比较好的效果，有理有据。文章首发于GiantPandaCV，请勿二次转载。

1. 摘要

目前注意力机制主要可以分为两类，空间注意力机制和通道注意力机制，两者目标用于捕获成对的像素级关系和通道间依赖关系的。同时使用两种注意力机制可以达到更好的效果，但是不可避免地增加了模型的计算量。

本文提出了Shuffle Attention（SA）模块来解决这个问题，可以高效地结合两种注意力机制。具体来讲：

• SA对通道特征进行分组，得到多个组的子特征。
• 对每个子特征使用SA Unit同时使用空间和通道间注意力机制。
• 最后，所有的子特征会被汇集起来，然后使用Channel Shuffle操作让不同组的特征进行融合。

实验结果：在ImageNet-1k数据集上，SA结果要比ResNet50的top 1高出1.34%。同时在MS COCO数据集上进行了目标检测和目标分割的实验，在模型复杂度比较低的情况下，达到了SOTA。

这个实验思路可以看出和SENet如出一辙，分组处理的思想在SGE中提到过，SA-Net添加了Channel Shuffle的操作参考ShuffleNet系列论文，有理有据，实现也很简单。