论文:Squeeze-and-Excitation Networks
Github:https://github.com/hujie-frank/SENet
Momenta ILSVRC 2017 分类任务的冠军,top-5 错误达到2:251% ,相比2016年冠军有∼25% 的准确性提升。
模型整体结构:
Ftr函数表示一系列的卷积,池化操作等。其中X代表输入图片,v代表卷积核。
Fsq函数代表global average pooling,
Fex函数代表卷积和激活操作,具体的说,首先是基于r=16系数的降维操作,并且在降维后做了Relu操作,然后基于r=16系数的升维操作,生维后做sigmoid激活操作。
Fscale代表基于channel的elementwise乘积运算。
SE模块:
上图表示了基于Inception系列网络的SE模块设计和基于Resnet这种带shortcut结构的SE模块设计。其中压缩比r=16时候,获得了参数量和速度的最佳平衡。