ECANet注意力机制——pytorch实现

论文传送门：ECA-Net: Efficient Channel Attention for Deep Convolutional Neural Networks

ECANet的目的：

为网络中添加ECAblock(Efficient Channel Attention)通道注意力机制模块，提高网络性能。

ECAblock的来源：

作者认为SE注意力机制存在缺点：
①使用全连接层来计算所有通道之间的相互关系是低效且不必要的；
②在全连接层进行了通道的缩减(channel dimensionality reduction)，会降低注意力机制的性能。

ECAblock的结构：

与SEblock相似，对输入特征层使用全局平均池化(GAP, global average
pooling)得到特征向量，然后使用1d卷积(注意区分conv1d和1x1conv2d)和sigmoid激活函数计算其每个通道的重要性权重，最后将输入的特征层乘上对应的通道重要性权重。

其中，1d卷积的卷积核尺寸由下式决定(odd表示奇数)，在原文中，$\gamma$设为2，$b$设为1。