MobileNetV3（2019 CV）

论文标题	Searching for MobileNetV3
论文作者	Andrew Howard, Mark Sandler, Grace Chu, Liang-Chieh Chen, Bo Chen, Mingxing Tan, Weijun Wang, Yukun Zhu, Ruoming Pang, Vijay Vasudevan, Quoc V. Le, Hartwig Adam
发表日期	2019年05月06日
GB引用	> Howard Andrew, Sandler Mark, Chu Grace, et al. Searching for MobileNetV3[J]. Proceedings of the IEEE International Conference on Computer Vision, 2019, 2019-OCTOBER: 1314-1324.
DOI	10.1109/ICCV.2019.00140

论文地址: arXiv:1905.02244

摘要

本文介绍了下一代MobileNets，结合互补搜索技术和新颖架构设计。MobileNetV3通过硬件感知网络架构搜索（NAS）及NetAdapt算法优化，随后通过新架构改进，实现了高精度高效神经网络模型。该研究开发了MobileNetV3-Large和MobileNetV3-Small两个新模型，分别针对高资源和低资源应用场景。对于语义分割任务，提出了一种新的高效解码器Lite Reduced Atrous Spatial Pyramid Pooling (LR-ASPP)。实验结果显示，MobileNetV3-Large在ImageNet分类上比MobileNetV2准确率提高3.2%，延迟减少20%；MobileNetV3-Small在相似延迟下比MobileNetV2准确率提高6.6%。

全文摘要

本文介绍了MobileNetV3这一新型卷积神经网络模型的设计和优化方法。该模型采用了硬件感知的网络架构搜索（NAS）和NetAdapt算法相结合的方式进行调优，并通过新的架构设计进一步提升性能。作者还提出了一个轻量级的分割解码器LR-ASPP，用于在语义分割等密集像素预测任务中实现更高效的计算。实验结果表明，MobileNetV3-Large比MobileNetV2在ImageNet分类任务上提高了3.2%的准确率，同时减少了20%的延迟；MobileNetV3-Small则比MobileNetV2在相同延迟下提高了6.6%的准确率。此外，在COCO检测和Cityscapes分割任务中，MobileNetV3-Large也取得了更好的效果。这些成果为移动设备上的深度学习应用提供了更加高效、精确的解决方案。

MobileNetV3通过结合硬件感知的网络架构搜索（NAS）和NetAdapt算法，创造了两种新模型：MobileNetV3-Large和MobileNetV3-Small，分别针对高资源和低资源的使用场景。此外，论文还提出了一种新的高效分割解码器Lite Reduced Atrous Spatial Pyramid Pooling（LR-ASPP），用于语义分割任务。

主要结论：

• MobileNetV3-Large在ImageNet分类上比MobileNetV2的准确率提高了3.2%，而延迟降低了20%。
• MobileNetV3-Small的准确率相比同样延迟的MobileNetV2提高了6.6%。
• 在COCO检测任务中，MobileNetV3-Large比MobileNetV2快25%，并保持了相似的准确性。
• LR-ASPP在Cityscapes语义分割任务中相较于MobileNetV2的R-ASPP快34%，同时实现了相似的准确性。

独特之处：

本论文的独特之处在于，它首次探索了如何将自动搜索算法与网络设计相结合，以优化移动设备上的性能。通过对不同的非线性激活函数和高效层的改进，MobileNetV3不仅在准确性上取得了显著的提高，同时也在保持低延迟的前提下，提升了模型在实际应用中的可用性。此外，LR-ASPP的提出为移动设备的语义分割任务提供了高效解决方案。

研究问题

如何通过结合自动化搜索算法和网络设计来提高移动设备上计算机视觉模型的准确性和效率？

研究方法

实验研究： 通过平台感知神经架构搜索（NAS）和NetAdapt算法优化网络结构，并在不同硬件平台上进行模型训练和测试。

比较研究： 对比不同版本的MobileNetV3模型（如MobileNetV3-Large和MobileNetV3-Small）在精度和延迟方面的性能差异。

混合方法研究： 结合平台感知NAS和NetAdapt算法来寻找优化的网络结构，同时引入新的非线性函数（如h-swish）和改进层设计来提升模型性能。

现象学研究： 通过对不同组件（如非线性函数和不同分辨率下的性能）的影响进行研究，探索模型性能的变化趋势。

系统分析： 分析MobileNetV3模型在不同资源约束条件下的性能表现，包括模型大小、延迟、计算量等多维度指标。

研究思路

理论框架与模型：

• 论文建立在深度学习和计算机视觉的基础上，特别是将注意力集中在移动设备上运行的高效卷积神经网络（CNN）上。MobileNetV3模型的设计框架结合了深度可分离卷积、倒置残差块和线性瓶颈的结构，这些都是MobileNet系列的核心概念。
• 在模型设计中，还引入了“硬Swish”激活函数和“Squeeze-and-Excitation”机制，以提升模型在低功耗设备上的表现和有效性。

研究方法：

• 采用综合的网络架构搜索（NAS）方法，结合硬件意识网络架构搜索和NetAdapt算法。这种方法通过自动化搜索和手动调整相结合，寻找最佳的模型架构。
• 在设计过程中，通过对各个网络模块的逐步优化，增强模型的鲁棒性和效率。
• 论文还进行了一系列实验，涵盖图像分类、目标检测和语义分割任务，通过对比不同版本的MobileNet模型，展示各自的性能表现。

方法

• 网络架构搜索（NAS）：使用强化学习来进行网络架构搜索，以找到最优的小型网络结构。
• NetAdapt：一种基于计算资源限制逐步调整网络参数的技术。
• 改进的激活函数h-swish：一种基于Swish非线性改进而来的高效激活函数。
• Attention机制：在网络末端引入SE（squeeze-and-excitation）模块，优化特征表示。

模型结构

MobileNetV3 定义为两个模型：MobileNetV3-Large 和 MobileNetV3-Small。这些模型针对高资源和低资源使用情况分别进行了优化。这些模型通过应用平台感知的自动网络搜索和嵌入式自适应技术来构建，并结合了本节中定义的网络改进。请参阅表 1 和表 2 查看网络的完整规格说明。

高效移动构建块

移动模型建立在越来越高效的基础组件之上。MobileNet V1 [19] 引入了深度可分离卷积作为传统卷积层的有效替代方案。深度可分离卷积通过将空间滤波与特征生成机制分离开来，有效地对传统卷积进行了分解。深度可分离卷积由两个独立层定义：用于空间滤波的轻量级深度卷积和用于特征生成的更重的 1x1 点卷积。

MobileNetV2 [39] 引入了线性瓶颈和倒残余结构，以利用问题的低秩本征来实现更有效的层结构。这种结构如图 3 所示，由一个 1×1 的扩展卷积、一个深度可分离卷积以及一个 1×1 的投影层组成。输入和输出通过残差连接相互关联，当且仅当它们具有相同数量的通道时。这种结构在输入和输出处维护紧凑表示，而在内部膨胀到更高维特征空间，从而提高每个通道的非线性变换的表达能力。

MnasNet [43] 建立在 MobileNetV2 的基础上，通过向瓶颈结构中引入轻量级的注意力模块来实现。请注意，挤压和兴奋模块与[20]中提出的基于ResNet的模块位于不同的位置。该模块放置在扩展中的深度滤波器之后，以便应用注意力到图4所示的最大表示上。

对于 MobileNetV3，我们使用这些层的组合作为构建块来构建最有效的模型。 层也通过修改后的swish非线性进行了升级[36,13,16]。 squeeze和excitation以及swish非线性都使用sigmoid，这在定点算术中计算效率低下且难以保持精度，因此我们在后面讨论的hard sigmoid[2,11]中将其替换。

网络搜索

网络搜索已被证明是一种非常强大的工具，用于发现和优化网络架构。[53][43][5][48] 对于 MobileNetV3，我们使用平台感知的神经架构搜索通过优化每个网络块来搜索全局网络结构。然后，我们使用 NetAdapt 算法按层搜索滤波器数量。这些技术互补，并可以结合使用以有效地为给定硬件平台找到优化模型。

块级搜索时的平台感知性NAS（Platform-Aware NAS for Block-wise Search）

与 [43] 类似，我们使用一种针对平台的神经架构搜索方法来寻找全局网络结构。由于我们使用相同的基于循环神经网络的控制器和相同因素化的分层搜索空间，我们在目标延迟约为 80 毫秒的大移动模型中获得了与 [43] 相同的结果。因此，我们只需简单地重复使用与初始大移动模型相同的 MnasNet-A1 [43]，然后在顶部应用 NetAdapt [48] 和其他优化。

然而，我们观察到最初的奖励设计并不是为小型移动模型而优化的。具体来说，它使用多目标奖励$ACC(m)\times {\left[LAT(m)/TAR\right]}^{}$