MobileNetV3论文解读

一、介绍

MobileNetV3 网络是google团队在2019年发布的，MobileNetV3-Large 相对于MobileNetV2 在ImageNet 分类数据集上准确率上升3.2%，延迟降低20%。 在COCO数据集上，在精确度相等的情况下快25%。 在Cityscapes 分割模型上，在精度相等的情况下快34%。

网络中的亮点：

更新Block(bneck)

使用 NAS 搜索参数（Neural Architecture Search）

重新设计耗时层结构

二、MobileNetv3详细

2.1 更新Block- 加入SE 模块

特点：

• SE 模块即Squeeze Excitation, 压缩激活的意思，把输入特征图中的空间信息进行压缩。对学习到的通道注意力信息，与输入特征图进行结合激活。

• 输入特征图维度 H* W * C，对输入特征图进行空间特征压缩: 在空间维度，全局平均池化，得到 1 * 1 * C的特征图。

• 对压缩后的特征图进行通道特征学习：使用两次FC全连接层操作学习，得到具有通道注意力的特征图，他的维度还是1*1*C.

• 最后将通道注意力的特征图1*1*C, 原始输入特征图H*W*C, 进行逐通道相乘， 最终输出具有注意力的特征图。

2.2 重新设计耗时层结构

特点：

• 减少第一个卷积层的卷积核个数(32->16)

• 精简 Last Stage,减少了原耗时11%，约少了7ms的延迟，精度几乎没有损失。

2.3 更新激活函数

2.3.1 swish激活函数

现有的swish 激活函数缺点：计算、求导复杂，对量化过程不友好。

2.3.2 h-swish 激活函数

特点： 将sigmoid 替换成 h-sigmoid 函数，swish 替换成 h-swish。

2.4 网络结构

注：exp size: 第一个升维的卷积升到多少维度、 out: 输出层、 SE 是否替换se模块、 NL 激活函数：HS(h-swish),RE(ReLU)、 s 是步距、 NBN :不适用BN层。

2.5 性能对比