SENet网络深入解析

Table of Contents

正文

SE结构

SENet

---

论文名：Squeeze-and-Excitation Networks

下载地址：https://arxiv.org/abs/1709.01507

正文

　　SENet是Momenta公司发表于2017CVPR，赢得了ImageNet最后一届（ImageNet 2017）的图像识别冠军．针对网络性能的优化，GoogleNet的inception结构构造多尺度感受野来提升特征提取能力；ResNet和DenseNet则是通过shortcut连接来提升特征的利用率；而该论文开辟出一条全新的路：设计Squeeze-and-Excitation Module(SE结构)来实现对网络性能的优化．

SE结构

　

　　上图是SE结构的示意图，其主要分为三个操作：

• Squeeze:该操作通过global average pooling将每个二位特征通道压缩成一个实数，该实数在一定意义上具有全局感受野，输出数据的维数和输出相同
• Excitation:该操作通过FC全连接层，自主学习每个特征通道的重要性，根据重要性的不同赋予不同的权重
• Reweigth:该操作将Excitation学习到的权重对原始输入的各特征通道进行重新标定(给予不同的权重)

SENet

　　SE结构其实算不上一种网络，只是一种结构块，但是它可以嵌入现有的几乎所有CNN网络中，从而构成了SENet，下图是将

SE结构嵌入到inception中的示意图．

　　　　　　　　　　　　

　　从上图中可以发现，为了降低FC全连接层带来的计算量，将Squeeze操作得到1*1*c进行降维处理，比例为r