Table of Contents
论文名:Squeeze-and-Excitation Networks
下载地址:https://arxiv.org/abs/1709.01507
正文
SENet是Momenta公司发表于2017CVPR,赢得了ImageNet最后一届(ImageNet 2017)的图像识别冠军.针对网络性能的优化,GoogleNet的inception结构构造多尺度感受野来提升特征提取能力;ResNet和DenseNet则是通过shortcut连接来提升特征的利用率;而该论文开辟出一条全新的路:设计Squeeze-and-Excitation Module(SE结构)来实现对网络性能的优化.
SE结构
上图是SE结构的示意图,其主要分为三个操作:
- Squeeze:该操作通过global average pooling将每个二位特征通道压缩成一个实数,该实数在一定意义上具有全局感受野,输出数据的维数和输出相同
- Excitation:该操作通过FC全连接层,自主学习每个特征通道的重要性,根据重要性的不同赋予不同的权重
- Reweigth:该操作将Excitation学习到的权重对原始输入的各特征通道进行重新标定(给予不同的权重)
SENet
SE结构其实算不上一种网络,只是一种结构块,但是它可以嵌入现有的几乎所有CNN网络中,从而构成了SENet,下图是将
SE结构嵌入到inception中的示意图.
从上图中可以发现,为了降低FC全连接层带来的计算量,将Squeeze操作得到1*1*c进行降维处理,比例为r