论文传送门:ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks
ECANet的目的:
为网络中添加ECAblock(Efficient Channel Attention)通道注意力机制模块,提高网络性能。
ECAblock的来源:
作者认为SE注意力机制存在缺点:
①使用全连接层来计算所有通道之间的相互关系是低效且不必要的;
②在全连接层进行了通道的缩减(channel dimensionality reduction),会降低注意力机制的性能。
ECAblock的结构:
与SEblock相似,对输入特征层使用全局平均池化(GAP, global average
pooling)得到特征向量,然后使用1d卷积(注意区分conv1d和1x1conv2d)和sigmoid激活函数计算其每个通道的重要性权重,最后将输入的特征层乘上对应的通道重要性权重。
其中,1d卷积的卷积核尺寸由下式决定(odd表示奇数),在原文中, γ γ γ设为2, b b b设为1。