注意力机制

1. 通道注意力 SENet

(6条消息) 经典神经网络论文超详细解读（七）——SENet（注意力机制）学习笔记（翻译＋精读＋代码复现）_senet注意力机制_路人贾'ω'的博客-CSDN博客https://blog.csdn.net/weixin_43334693/article/details/128563228?spm=1001.2014.3001.5501

SE block：SQUEEZE-AND-EXCITATION BLOCKS 是SENet的子结构主要包含两部分，分别是Squeeze和Excitation。

理解： 因为卷积运算是通过在局部感受野内融合空间和通道级信息来提取信息特征的（一个神经元的输出是由输入的所有通道卷积结果求和产生的），所以我们希望通过显式建模通道之间的相互依赖性，自适应地校准通道级特征响应，使用全局信息来选择性地强调信息特征，抑制不可靠的特征，从而增强特征的学习。

1.1 Squeeze：Global Information Embedding

        通过一个2D的全局平均池化层，在输出特征图的（H,W)空间维度实现 ，得到1*1*C的1D数据，将全局空间信息压缩到通道特征描述中。

1.2  Excitation: Adaptive Recalibration

        通过两个全连接层 + 一个sgmoid激活函数实现，捕获通道依赖关系，输出每个通道的注意力权重。
（1）第一个FC层 +  ReLU：降维（输入通道数C, 输出通道数C/r） 

（2）第二个FC层 + sigmoid：升维，恢复输入的通道维度，sigmoid归一化输出0-1的通道权重（输入通道数C/r，输出通道数C）

1.3 模块迁移