《MobileNet v3：Searching for MobileNetV3》论文笔记

1. 概述

这篇文章在MobileNet v2的基础上提出了一个新型的轻量级网络结构MobileNet v3。其是用NAS与NetAdapt两个算法搜索出来的。这篇文章针对MobileNet v3给出了两个版本的实现MobileNetV3-Large和MobileNetV3-Small，分别应对资源消耗高低的场景。这两个网络结构成功用于目标检测与语义分割任务中。对于语义分割任务文章提出了一个新的高效解码器LR-ASPP（Lite Reduced Atrous Spatial Pyramid Pooling）。相对MobileNet v2这篇文章给出的两种网络结构分别提升了4.6%与3.2%，速度上快了5%与15%。在检测与分割任务上使用large的版本比MobileNet v2在相同精度下快了25%和30%。

文章的主要工作内容：

• 1）使用互补的网络搜索方法搜索得到轻量级的网络；
• 2）采用了新的非线性激活层h-swish；
• 3）一个新型的高效网络设计；
• 4）新型的语义分割解码器；

文章提出的网络性能：

2. 网络设计

2.1 高效的网络构建模块

前面内容已经提到，MobileNetV3 是神经架构搜索得到的模型，其内部使用的模块继承自：

• 1）MobileNetV1 模型引入的深度可分离卷积（depthwise separable convolutions）；
• 2）MobileNetV2 模型引入的具有线性瓶颈的倒残差结构(the inverted residual with linear bottleneck)，其结构见下图3所示；
  
• 3）MnasNet 模型引入的基于squeeze and excitation结构的轻量级注意力模型，这篇文章引入的位置与原论文中的位置并不相同，其引入的结构见图4所示。
  
  这些被证明行之有效的用于移动端网络设计的模块是搭建MobileNetV3的积木。

2.2 网络（互补）搜索

在网络结构搜索中，作者结合两种技术：资源受限的NAS（platform-aware NAS）与NetAdapt，前者用于在计算和参数量受限的前提下搜索网络的各个模块，所以称之为模块级的搜索（Block-wise Search） ，后者用于对各个模块确定之后网络层的微调，主要是确定每层的filter数量（Layer-wise Searchÿ