SE注意力机制详解：从原理到应用，全面解析Squeeze-and-Excitation模块

那年一路北

已于 2025-02-28 13:31:02 修改

阅读量2.3k

点赞数 28

分类专栏： Yolo 文章标签：人工智能

于 2025-02-27 20:59:15 首次发布

本文链接：https://blog.csdn.net/weixin_52603404/article/details/145913135

版权

Yolo 专栏收录该内容

12 篇文章

订阅专栏

Squeeze-and-Excitation (SE) 模块的原理与应用

1. 引言：注意力机制的意义

在深度学习领域，注意力机制（Attention Mechanism）通过模拟人类视觉的“聚焦”特性，赋予模型动态调整特征重要性的能力。传统卷积神经网络（CNN）通常平等对待所有通道和空间位置的特征，而Squeeze-and-Excitation（SE）注意力模块的提出，首次将通道注意力机制系统化，成为提升模型性能的关键技术之一。

SE模块通过显式建模通道间的依赖关系，使网络能够自适应地增强重要特征，抑制冗余信息。该模块广泛应用于图像分类、目标检测等任务中，取得了显著的性能提升。

2. SE模块的核心原理

SE模块由三个核心操作组成：Squeeze（压缩）、Excitation（激励）和Scale（重标定）。其结构如下图所示：

2.1 Squeeze操作：全局特征压缩

输入特征图的尺寸为 H×W×CH \times W \times C，Squeeze操作通过**全局平均池化（Global Average Pooling, GAP）**将每个通道的二维空间信息压缩为一个标量：

zc=1H×W∑i=1H∑j=1Wxc(i,j)z_c = \frac{1}{H \times W} \sum_{i=1}^H \sum_{j=1}^W x_c(i,j)

此操作将特征图从 H×W×CH \times W \times C 压缩为 1×1×C1 \times 1 \times C，从而捕获通道的全局分布信息。

2.2 Excitation操作：通道权重学习

通过两个全连接层（FC）学习通道间的非线性关系：

s=σ(W2⋅δ(W1⋅z))s = \sigma(W_2 \cdot \delta(W_1 \cdot z))

其中：

W1∈RC/r×CW_1 \in \mathbb{R}^{C/r \times C} 为降维矩阵（rr 为压缩比）
δ\delta 为ReLU激活函数
W2∈RC×C/rW_2 \in \mathbb{R}^{C \times C/r} 为升维矩阵
σ\sigma 为Sigmoid函数，输出权重值 s∈[0,1]Cs \in [0,1]^C

2.3 Scale操作：特征重标定

将学习到的通道权重 ss 与原始特征图逐通道相乘，完成特征重标定：

x^c=sc⋅xc\hat{x}_c = s_c \cdot x_c

最终输出 X^\hat{X} 的尺寸仍为 H×W×CH \times W \times C，但每个通道的重要性被动态调整。

3. SE模块的数学建模与实现细节

3.1 压缩比（Reduction Ratio）

参数 rr 控制中间层的维度缩减比例，通常取 r=16r=16。较小的 rr 会增加计算量，但可能提升性能，需通过实验权衡。

3.2 轻量化设计

SE模块的参数量仅为：

2C2r+C\frac{2C^2}{r} + C

例如，当 C=512C=512、r=16r=16 时，参数量为 33,79233,792，远低于全连接层的开销。

4. SE模块的即插即用特性

SE模块可无缝集成到现有网络架构中，以下为典型应用案例：

4.1 SE-Inception模块

在Inception模块的输出端添加SE模块，结构如下：

4.2 SE-ResNet模块

在ResNet的残差分支末端插入SE模块：

Input → 卷积层 → SE模块 → 残差连接 → Output

5. SE模块的代码实现（PyTorch示例）

import torch
import torch.nn as nn

class SEBlock(nn.Module):
    def __init__(self, channel, reduction=16):
        super(SEBlock, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.fc = nn.Sequential(
            nn.Linear(channel, channel // reduction),
            nn.ReLU(inplace=True),
            nn.Linear(channel // reduction, channel),
            nn.Sigmoid()
        )

    def forward(self, x):
        b, c, _, _ = x.size()
        y = self.avg_pool(x).view(b, c)
        y = self.fc(y).view(b, c, 1, 1)
        return x * y.expand_as(x)

# 集成到ResNet的Bottleneck
class SEBottleneck(nn.Module):
    def __init__(self, in_channels, out_channels, stride=1, reduction=16):
        super(SEBottleneck, self).__init__()
        self.conv_layers = nn.Sequential(
            nn.Conv2d(in_channels, out_channels//4, 1),
            nn.BatchNorm2d(out_channels//4),
            nn.ReLU(),
            nn.Conv2d(out_channels//4, out_channels//4, 3, stride=stride, padding=1),
            nn.BatchNorm2d(out_channels//4),
            nn.ReLU(),
            nn.Conv2d(out_channels//4, out_channels, 1),
            nn.BatchNorm2d(out_channels),
            SEBlock(out_channels, reduction)  # 插入SE模块
        )
        self.shortcut = nn.Sequential()
        if stride != 1 or in_channels != out_channels:
            self.shortcut = nn.Sequential(
                nn.Conv2d(in_channels, out_channels, 1, stride=stride),
                nn.BatchNorm2d(out_channels)
            )

    def forward(self, x):
        out = self.conv_layers(x)
        out += self.shortcut(x)
        return nn.ReLU()(out)