- 概述
这篇文章在MobileNet v2的基础上提出了一个新型的轻量级网络结构MobileNet v3。其是用NAS与NetAdapt两个算法搜索出来的。这篇文章针对MobileNet v3给出了两个版本的实现MobileNetV3-Large和MobileNetV3-Small,分别应对资源消耗高低的场景。这两个网络结构成功用于目标检测与语义分割任务中。对于语义分割任务文章提出了一个新的高效解码器LR-ASPP(Lite Reduced Atrous Spatial Pyramid Pooling)。相对MobileNet v2这篇文章给出的两种网络结构分别提升了4.6%与3.2%,速度上快了5%与15%。在检测与分割任务上使用large的版本比MobileNet v2在相同精度下快了25%和30%。
文章的主要工作内容:
- 1)使用互补的网络搜索方法搜索得到轻量级的网络;
- 2)采用了新的非线性激活层h-swish;
- 3)一个新型的高效网络设计;
- 4)新型的语义分割解码器;
文章提出的网络性能:
2. 网络设计
2.1 高效的网络构建模块
前面内容已经提到,MobileNetV3 是神经架构搜索得到的模型,其内部使用的模块继承自:
- 1)MobileNetV1 模型引入的深度可分离卷积(depthwise separable convolutions);
- 2)MobileNetV2 模型引入的具有线性瓶颈的倒残差结构(the inverted residual with linear bottleneck),其结构见下图3所示;
- 3)MnasNet 模型引入的基于squeeze and excitation结构的轻量级注意力模型,这篇文章引入的位置与原论文中的位置并不相同,其引入的结构见图4所示。
这些被证明行之有效的用于移动端网络设计的模块是搭建MobileNetV3的积木。
2.2 网络(互补)搜索
在网络结构搜索中,作者结合两种技术:资源受限的NAS(platform-aware NAS)与NetAdapt,前者用于在计算和参数量受限的前提下搜索网络的各个模块,所以称之为模块级的搜索(Block-wise Search) ,后者用于对各个模块确定之后网络层的微调,主要是确定每层的filter数量(Layer-wise Search)。
这两项技术分别来自论文:
-
M. Tan, B. Chen, R. Pa