【网络结构】注意力机制Attention block

注意力机制源于自然语言处理，CSDN：https://blog.csdn.net/qq_40027052/article/details/78421155#t0

视觉注意力机制中接触到的，自认为应用较多的，也是在论文中频繁出现的：

channel-wise attention（通道注意力）

spital attention（视觉空间注意力）

刚接触注意力机制时总把这两个弄混，一直不知道如何实现，过一段时间再看才发现是两个东西，实现起来也不麻烦。

1.channel-wise attention（通道注意力）

可以参考Squeeze-and-Excitation Networks（SENet）,这个结构是2017 ILSVR竞赛的冠军,主要是区分不同通道特征的重要性，重要特征权重大，不重要特征权重小，权重部分计算部分通过Squeeze-and-Excitation Networks实现。

具体是将WHC的特征通过全局池化、全连接和激活函数得到1*1*C的特征（即权重），将1*1*C的权重与WHC特征乘积得到通道注意力的特征。

具体实现：

https://blog.csdn.net/wangkun1340378/article/details/79092001

https://zhuanlan.zhihu.com/p/32702350

代码容易实现，可以尝试一下，会因为全连接增加参数量，但不会太多，因为SENet中直接对特征进行了求全局平均，将W*H的特征变成了一个数，再再这个基础上进行全连接计算，因此不会增加太多参数量和计算量。

针对通道注意力机制在处理类不平衡或是多尺度问题中表现如何，或是更适合哪种场景，希望路过的大佬有了解的可以解答一下，万分感谢！！

2.spital attention（视觉空间注意力）

与通道注意力不同，更关注位置信息。在这里对通道进行池化计算，得到WH的特征，经过变换得到两个WH的矩阵，经过计算得到位置注意力权重，再与WHC的特征相乘，得到具有位置注意力信息的特征。

具体变换方法多种，可参考：

图像分割的双注意力机制：https://zhuanlan.zhihu.com/p/54150694

用于卷积神经网络的注意力机制(Attention)----CBAM: Convolutional Block Attention Modul ：https://www.jianshu.com/p/4fac94eaca91