几种注意力机制论文学习（参考）

 注意力机制是什么？注意力机制(Attention Mechanism)源于对人类视觉的研究。将注意力机制用在计算机视觉任务上，可以有效捕捉图片中有用的区域，从而提升整体网络性能。

目前比较常用的有 [SE block](https://arxiv.org/abs/1709.01507)、[SK-block]

(https://arxiv.org/abs/1903.06586)、[Non-local block]

(https://arxiv.org/abs/1711.07971)、[GC block]

(https://arxiv.org/abs/1904.11492)、[CBAM]

(https://arxiv.org/abs/1807.06521) 等，核心思想就是去学习特征图在不同区域或者不同通道中的重要性，从而让网络更加注意显著性的区域。

简单的看一下下面的通道注意力机制：

首先，Ftr 表示常规的卷积操作，X 和 U 则是 Ftr 的输入与输出的特征图，在得到特征图U后，使用 Fsq 和 Fex 操作求得 scale 向量，scale 向量维度为 C，与 U 通道数相同，因此可以通过乘积的方式作用到 U 上，进而得到 X~

具体地，Fsq 为 Global Average Pooling 操作，SENet 作者将其称之为 Squeeze，因为该操作可以将 U 从 C × H × W 压缩到 C × 1 × 1，对 Fsq 的输出再做 Fex 操作。

Fex操作表示两次全连接，作者将该操作称为 Excitation。其中第一次全连接将向量的维度从 1 × 1 × C 压缩到 1 × 1 × C/r，然后使用 RELU，再通过第二次全连接将向量的维度恢复到 C，这样操作的目的是为了减小计算量，SENet 作者通过实验得出结论：在 r=16 时可以获得增益与计算量之间的平衡。