SE-Net：CVPR残差网络（resnet）经典改进深入解析——Split-Attention Networks。

---

一、介绍

Squeeze-and-Excitation Networks (SE-Net) 由 2017 年华为 Noah’s Ark 实验室 提出，并在 CVPR 2018 论文 "Squeeze-and-Excitation Networks" 中详细介绍。它是一种 注意力机制 (Attention Mechanism)，专注于通道注意力 (Channel Attention)，提升卷积神经网络的特征表示能力。

论文地址：Squeeze-and-Excitation Networks

成就：在2017年最后一届ImageNet挑战赛(ILSVRC) classification 任务中获得冠军，将错误率降低到 2.251% ；

核心思想：

SE 模块 (Squeeze-and-Excitation Block) 可以 自适应地为每个通道分配不同的权重，让网络关注更重要的特征，并抑制无用信息，提高模型的准确率。

基础工作：hyshhh：何恺明ResNet（残差网络）——彻底改变深度神经网络的训练方式

相关工作：hyshhh：李沐ResNest：残差网络（resnet）经典改进深入解析——Split-Attention Networks。

---

二、 SE-Net 的工作原理

下面两个图中，左图是正常网络中的SE-block，右图是在残差网络中的SE-block。主干部分相同，在残差网络的骨干模块增加了一个直接映射的通道。下面介绍SE模块的工作原理

SE 模块分为 三个阶段：

1. Squeeze (特征压缩)
   使用 全局平均池化 (Global Average Pooling, GAP)，将每个通道的 空间信息压缩，得到全局感受野，生成通道级别的全局特征向量。下图是全局池化压缩的公式,对一个通道上特征图的所有像素上的所有点进行加权求和，然后初H*W也就是特征图的面积，得到所有像素点的均值。

2. Excitation (特征重标定)
通过 两层全连接网络 (FC Layers) 学习每个通道的 重要性权重：
先 降维（降低计算量），然后 升维（恢复通道数）。
使用 ReLU 作为激活函数，并用 Sigmoid 归一化，确保权重在 [0,1] 之间。

上述计算注意力权重的公式如下所示：

ReLU 激活函数 (δ)：ReLU（修正线性单元）激活函数在网络中用于引入非线性，使得模型能够学习更复杂的模式。W1表示第一个全连接层的权重矩阵，它将输入的通道数 映射到一个较小的通道数​。W2表示第二个全连接层的权重矩阵，它将经过降维后的通道数恢复到原始的通道数 。

最后，输出通过激活函数进行重缩放，得到注意力权重值

3. Recalibration (通道重标定)
通过 乘法操作 重新加权通道：output=input×channel attention 让重要的通道增强，不重要的通道衰减。论文中公式

三、SE Block

将以上Block构成的网络如下 :其原理与resnet相同，相较于resnet有了一定提升

 

5. 文章推荐

https://zhuanlan.zhihu.com/p/1890066229575803821

【论文】ICCV2017——Soft-NMS一种NMS（非极大值抑制）的改进方法 - hyshhh的文章 - 知乎
https://zhuanlan.zhihu.com/p/1889437367116464366

【qzzh感知算法岗面试】NMS——YOLO网络中的NMS（非极大值抑制）算法作用原理 - hyshhh的文章 - 知乎
https://zhuanlan.zhihu.com/p/1889176080797136055

Pointpillar（Openpcdet）代码解读——检测头部分 - hyshhh的文章 - 知乎
https://zhuanlan.zhihu.com/p/1888699744127258715

KITTI数据集介绍、组成结构、可视化方法 - hyshhh的文章 - 知乎
https://zhuanlan.zhihu.com/p/32087711026