MobileNetV2:Inverted Residuals and Linear BottleNecks

 

摘要：

本文我们描述了一种新的mobile结构称为MobileNetV2，改进了模型在多个tasks与benchmarks以及不同大小模型的SOTA。我们还描述了一个将这些mobile模型应用在目标检测中的新框架，称为SSDLite。此外，我们还介绍了如何通过改进DeepLabv3构建我们称为DeepLabv3的mobile语义分割模型。网络基于反转残差结构，shortcut位于thin bottleneck层之间。中间膨胀层使用轻量级的depthwise卷积作为非线性的来源来过滤特征。此外我们发现，将narrow层的非线性移除对于保持特征表达能力相当重要。我们展示这样可以提升模型表现，提供进行这样设计方式的思路。最后，我们的方法给输入输出提供了从昂贵的变化中解耦合的能力，为进一步分析提供了便利的框架。在ImageNet【1】分类任务，COCO检测任务【2】，VOC图片分割任务【3】上对我们方法的而评估。我们评估了准确率、通过MAdd表示的操作量、实际时延与参数个数之间的trade0ff。

1、Introduction

神经网络使得机器智能的许多领域产生了革新，在图像识别任务上取得了超越人类的准确率。然而，产生这些准确率优化的驱动往往包含一个损耗：当前SOTA的网络往往需要远远超过mobile或者嵌入式设备能够提供的计算资源。

本文介绍了一种新的神经网络结构，专门针对移动端或者资源受限的场景。我们的模型通过显著降低操作次数并且在达到相同精度的同时降低显存需求改进了移动定制视觉模型的SOTA。

我们的主要贡献是一个先进的层模块：包含线性瓶颈结构的反转残差结构。模块的输入是低维压缩的特征表达，第一步扩展到高维空间，进行轻量级的depthwise卷积。得到的特征通过线性卷积投影回低维空间。官方实现作为TensorFlow-Slim模型库【4】的一部分。

模块可以使用任何现代框架中的标准操作复现，使用标准的benchmarks在多个性能点上打败了SOTA的模型。此外这样的卷积结构特别适用于移动模型设计，因为它可以在推理时用过从不产生大的中间tensors而显著减少显存占用。这减少了许多嵌入式硬件设计中对主存访问的需求，提供了少量超高速软件控制的缓存。

2、Related Work

将深度神经网络结构的准准确率与性能表现达到动态平衡是最近这些年的一个研究热点。无论是多支团队提供的手工结构搜索还是训练算法改进都给早期的设计例如AlexNet【5】、VGGNet【6】、GoogleNet【7】与ResNet【8】带来了戏剧性的改进。当前在算法结构探索方面取得了许多进展，包括超参数优化【9,10,11】、多种网络裁剪方法【12,13,14,15,16,17】与关联学习【18,19】。有很多实质性的工作也致力于改进不同卷积块间的连接结构，例如ShuffleNet【20】或者引入稀疏性【21】或者其它内容【22】。

当前，文献【23,24,25,26】通过引入遗传算法，强化学习到结构搜索中打开了一个优化方法的新方向。这些方法有个缺点，得到的结果往往相当复杂。本文中，我们最求的目标是研究清楚神经网络时如何操作并且利用这个研究来引导最简单有效的网络设计。我们的方法需要与【23】中描述的结果及相关文献一样优秀。在这方面我们的方法与文献【20,22】提出的方法类似，允许进一步提升性能，公式提供对网络内部操作的大致了解。我们网络设计是基于MobileNetV1【27】。提出的网络保持了v1的简洁性，在不要求任何特殊操作的同时显著提升了准确率，在多重移动应用中的图像分类与检测任务中达到了SOTA的成绩。

3、Preliminaries,discussion and intuition

3.1Depthwise Separable Convolutions

深度可分离卷积是许多高效神经网络结构【27,28,20】关键的构建模块，我们在当前的工作也使用了这个模块。最基本的思路是将全卷积操作分离成两个不同的层总实现。第一层叫做depthwise卷积，通过应用每个输入通道卷积进行轻量级滤波。第二层是1×1卷积，称为pointwise卷积，通过计算输入通道的线性组合来响应生成特征。

标准卷积在输入tensor情况下花费，通过应用卷积核