计算机视觉中的注意力机制综述

计算机视觉中的注意力机制

1、SENet (2017 CVPR)

论文名称：Squeeze-and-Excitation Networks
论文连接：https://arxiv.org/abs/1709.01507
代码地址：https://github.com/hujie-frank/SENet

2、SKNet (2019 CVPR)

论文名称：Selective Kernel Networks
论文连接：https://arxiv.org/pdf/1903.06586.pdf
代码地址：https://github.com/implus/SKNet

3、CBAM (2018 ECCV)

论文名称：CBAM:Convolutional Block Attention Module
论文连接：https://arxiv.org/pdf/1807.06521.pdf
代码地址：https://github.com/Jongchan/attention-module
Convolutional Block Attention Module (CBAM) 表示卷积模块的注意力机制模块。是一种结合了空间（spatial）和通道（channel）的注意力机制模块。相比于senet只关注通道（channel）的注意力机制可以取得更好的效果。

Channel attention module:

Spatial attention module:

4、DANet (2019 CVPR)

论文名称：Dual Attention Network for Scene Segmentation
论文连接：https://arxiv.org/pdf/1809.02983.pdf
代码地址：https://github.com/junfu1115/DANet/

Postion Attention Module：
B、C、D由A卷积得到，维度均为C* H* W。将B、C、D都reshape到C* N(N = H* W)，然后将C的转置于B相乘到N* N的矩阵， 对于矩阵的每一个点进行softmax。然后将D与softmax后的结果相乘并reshape到C* H* W，与A进行element-wise。

Channel Attention Module：
在通道注意力机制中，B(C* N)与C(N* C)的转置相乘得到C* C的矩阵，然后针对C* C的矩阵进行softmax操作，得到C* C的掩膜。将输入A reshape 为C* N，然后将其转至为N* C，最后将掩膜与其相乘得到C* N的输出，再将其 reshape 为C* H* W，接着与输出相加得到C* H* W的E。