CNN 不同Attention 的内在含义

SE

Squeeze-and-Excitation Networks

se 模块在 feature maps 上不同通道 上加权平衡。他通过权重强调了哪个通道更重要，哪个不太重要。

CBAM

Squeeze-and-Excitation Networks

cbam 模块在 feature maps 上不同点上加权平衡，每个通道使用相同的权重。他通过权重强调了feature maps上哪个点重要哪个不重要。

Non-Local

Non-local Neural Networks

Non-Local 表述了feature maps 上的一个点对其他点的重要程度/相关程度（反过来也可以说是，所有点对某个点的重要程度），体现的是feature maps 上不同位置之间的关系。更准确的说是所有点对某一特定点的综合影响。

这种结构类似《Attention is All You Need》中的 multi-heads 的其中一个 head。

注： 这里说的点/位置的含义是： 假设一个Tensor a with shape (B, C, H, W)， a[0, m, n, :] 表示第0个样本上的一个点，位置是（m, n）,他是一个维度等于通道数的向量。