大白话讲解MobileNet-v3

大白话讲解MobileNet-v3

MobileNet-v3可以说是轻量化网络的集大成者，所以在介绍MobileNet-v3之前我们有必要了解一下目前的一些轻量化网络及特点。

1.轻量化网络

在移动端部署深度卷积网络，无论什么视觉任务，选择高精度的计算量少和参数少的骨干网是必经之路。轻量化网络是移动端的研究重点，目前的一些主要的轻量化网络及特点如下：
SqueezeNet：提出Fire Module设计，主要思想是先通过1x1卷积压缩通道数（Squeeze），再通过并行使用1x1卷积和3x3卷积来抽取特征（Expand），通过延迟下采样阶段来保证精度。综合来说，SqueezeNet旨在减少参数量来加速。
通过减少MAdds来加速的轻量模型：
MobileNet V1：提出深度可分离卷积；
MobileNet V2：提出反转残差线性瓶颈块；
ShuffleNet：结合使用分组卷积和通道混洗操作；
CondenseNet：dense连接
ShiftNet：利用shift操作和逐点卷积代替了昂贵的空间卷积

从SqueezeNet开始模型的参数量就不断下降，为了进一步减少模型的实际操作数（MAdds），MobileNetV1利用了深度可分离卷积提高了计算效率，而MobileNetV2则加入了线性bottlenecks和反转残差模块构