【即插即用】ECA注意力机制（附源码）

原文地址：https://arxiv.org/abs/1910.03151v4#/

1. 核心思想

ECANet的核心思想是在卷积操作中引入通道注意力机制，以提升特征表示的能力。通道注意力机制旨在自适应地调整通道特征的权重，从而使网络能够更好地关注重要特征并抑制不重要特征。通过这种机制，ECANet有效地增强了网络的表征能力，同时避免了增加过多的参数和计算成本。

2. 通道注意力模块

通道注意力模块是ECANet的核心组成部分，其目标是根据通道之间的关系自适应地调整通道特征的权重。该模块首先对特征图进行全局平均池化，然后通过一组全连接层生成通道注意力权重，最后将这些权重应用于输入特征图的每个通道，实现了不同通道的加权组合，并通过缩放因子进行归一化。

3. 嵌入式通道注意力模块

嵌入式通道注意力模块是ECANet的扩展部分，将通道注意力机制嵌入到卷积层中，从而在卷积操作中引入通道关系。具体而言，在卷积操作中，将输入特征图划分为多个子特征图，然后在每个子特征图上进行卷积操作，并在操作过程中引入通道注意力。最后，将这些子特征图合并，得到最终的输出特征图。这种设计有效地减少了计算成本，并保持了网络的高效性。

通过以上介绍，可以看出，ECANet通过引入通道注意力机制，有效地提升了网络在图像处理任务中的性能，并在保持高效性的同时，增强了特征表示的能力，具有广泛的应用前景。

Pytorch版本源码：

import torch
from torch import nn
import math

class ECAAttention(nn.Module):
    # 初始化, in_channel代表特征图的输入通道数, b和gama代表公式中的两个系数
    def __init__(self, in_channel, b=1, gama=2):
        # 继承父类初始化
        super(ECAAttention, self).__init__()

        # 根据输入通道数自适应调整卷积核大小
        kernel_size = int(abs((math.log(in_channel, 2) + b) / gama))
        # 如果卷积核大小是奇数，就使用它
        if kernel_size % 2:
            kernel_size = kernel_size
        # 如果卷积核大小是偶数，就把它变成奇数
        else:
            kernel_size = kernel_size

        # 卷积时，为例保证卷积前后的size不变，需要0填充的数量
        padding = kernel_size // 2

        # 全局平均池化，输出的特征图的宽高=1
        self.avg_pool = nn.AdaptiveAvgPool2d(output_size=1)
        # 1D卷积，输入和输出通道数都=1，卷积核大小是自适应的
        self.conv = nn.Conv1d(in_channels=1, out_channels=1, kernel_size=kernel_size,
                              bias=False, padding=padding)
        # sigmoid激活函数，权值归一化
        self.sigmoid = nn.Sigmoid()

    # 前向传播
    def forward(self, inputs):
        # 获得输入图像的shape
        b, c, h, w = inputs.shape

        # 全局平均池化 [b,c,h,w]==>[b,c,1,1]
        x = self.avg_pool(inputs)
        # 维度调整，变成序列形式 [b,c,1,1]==>[b,1,c]
        x = x.view([b, 1, c])
        # 1D卷积 [b,1,c]==>[b,1,c]
        x = self.conv(x)
        # 权值归一化
        x = self.sigmoid(x)
        # 维度调整 [b,1,c]==>[b,c,1,1]
        x = x.view([b, c, 1, 1])

        # 将输入特征图和通道权重相乘[b,c,h,w]*[b,c,1,1]==>[b,c,h,w]
        outputs = x * inputs
        return outputs


if __name__ == '__main__':
    input = torch.randn(2, 2, 512, 512)
    eca = ECAAttention(in_channel=input.size(1))
    output = eca(input)
    print(output.shape)