qq_996686006的博客

attention机制论文阅读《CBAM : Convolutional Block Attention Module》CBAM先上网络图。简单说明一下，该结构由两个顺序子模块：通道模块和空间模块。特征图在每个深度网络的每个卷积块上自适应调整。由上图所示，有输入、通道注意力模块、空间注意力模块和输出组成。输入特征F∈RC∗H∗WF\in R^{C*H*W}F∈RC∗H∗W，然后通道注意力模块一维卷积${M_c}R^{C11} $，...

ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks（2020）注意力模块比较纵坐标为准确性，横坐标为模型参数量（复杂度）。ECA模块Avoiding Dimensionaluity ReductionSE-Net在SE-Net中，通道注意力模块通过公式(2)进行降维（简单来说，就是SE-Net模块中的全连接层），这样让通道和权值之间没有直接联系。下表中的SE-Var1（无参数）、SE-Va

Squeeze-and-Excitation NetworksSENet：通道注意力机制1.卷积操作：Ftr:X∈RH′∗W′∗C′→U∈RH∗W∗CF_{tr}:X\in R^{H'*W'*C'} \to U\in R^{H*W*C}Ftr​:X∈RH′∗W′∗C′→U∈RH∗W∗C，V=[v1,v2,……,vc]V=[v_1,v_2,……,v_c]V=[v1​,v2​,……,vc​]表示卷积核学习到的一组参数。2.Squeeze：（全局信息嵌入）每个卷积核都与一个区域相关联，但是每个卷积核没有