MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications（1）

摘要：

        我们提出了一类名为MobileNets的高效模型，用于移动和嵌入式视觉应用（mobile and embedded vision applications）。MobileNets基于一种使用深度可分离卷积（depthwise separable convolutions）构建轻量级深度神经网络（light weight deep neural networks）的流线型架构（streamlined architecture）。我们引入了两个简单的全局超参数（hyper-parameters），使得可以有效地权衡延迟性和准确性（latency and accuracy）。这些超参数允许在构建模型时根据问题的条件为应用程序选择正确大小的模型。我们在资源和准确性权衡方面进行了广泛的实验，与ImageNet上的分类任务的其他流行模型相比，表现出了强大的性能。我们将演示在广泛的应用程序和用例中MobileNets的有效性，包括目标检测（object detection）、细粒度分类（finegrain classification）、人脸识别（face attributes）和大规模地理定位（large scale geo-localization）。

1.简介：

        自AlexNet推广深度卷积神经网络并赢得ImageNet挑战赛:ILSVRC 2012以来，卷积神经网络已经在计算机视觉中无处不在。为了得到更高的精度，一般的趋势是构建更深、更复杂的网络。然而，这些使网络在规模和速度方面变得更有效从而提高准确性的改进，并不是必要的。在许多现实世界的应用中，如机器人技术（robotics）、自动驾驶汽车（self-driving car）和增强现实（augmented reality），识别任务需要在计算量有限的平台上及时执行。

        为了建立非常小的、低延迟的模型，从而可以很容易地匹配移动和嵌入式视觉应用的设计需求，本文描述了一个高效的网络体系结构包含一组两个超参数。第2节回顾了以前在构建小型模型方面的工作。第3节描述了MobileNet体系结构和定义更小、更高效的MobileNet的两个超参数的宽度因子（width multiplier）和分辨率因子（resolution multiplier）。第4节描述了ImageNet上的实验以及各种不同的应用程序和用例。第5节以总结和结论结束。

2. 之前的工作

        在最近的文献中，人们对构建小型高效神经网络越来越感兴趣。（文章中举了一些例子）

许多不同的方法通常可以分为压缩预先训练的网络或直接训练小型网络。本文提出了一类网络体系结构，允许构建模型时专门为其应用程序选择与资源限制(延迟、大小)相匹配的小网络。MobileNets主要专注于优化延迟，但也产生小型网络。许多关于小型网络的论文只关注规模，而不考虑速度。

        MobileNets主要由深度可分离卷积构建，最初在[26]（Rigid-Motion Scattering for Texture Classification.）中引入，随后在Inception模型[13]（Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift）中使用，以减少前几层的计算量。扁平化网络（Flattened networks）[16]（Flattened Convolutional Neural Networks for Feedforward Acceleration）用全因式卷积（fully factorized convolutions）构建了一个网络，展示了完全分解网络（extremely factorized networks）的潜力。在这篇论文之外，分解网络（Factorized Networks）[34]（Factorized Convolutional Neural Networks）引入了类似的分解卷积（factorized convolution）以及拓扑连接（topological connections）的使用。随后，Xception网络[3]（Xception: Deep Learning with Depthwise Separable Convolutions）演示了如何扩展深度可分离过滤器（depthwise separable filters），以超越Inception V3网络。另一个小型网络是Squeezenet[12]（SqueezeNet: AlexNet-level accuracy with 50x fewer parameters and <0.5MB model size），它使用瓶颈（bottleneck）方法设计了一个非常小的网络。其他简化计算网络（reduced computation networks）包括结构化变换网络（structured transform networks）[28]（Structured transforms for small-footprint deep learning）和deep fried convnets[37]（Deep Fried Convnets）。

        获得小型网络的另一种方法是收缩、分解或压缩预训练网络。基于乘积量化（product quantization）[36]（Quantized Convolutional Neural Networks for Mobile Devices）的压缩，哈希（hashing）[2]（Compressing neural networks with the hashing trick.）和剪枝（pruning），在文献中提出了矢量量化（vector quantization）和霍夫曼编码（Huffman coding）[5]（Deep Compression: Compressing Deep Neural Networks with Pruning, Trained Quantization and Huffman Coding）。此外，人们还提出了各种因子分解来加速预训练的网络[14,20]（一些例子）。另一种训练小型网络的方法是蒸馏（distillation）[9]（Distilling the Knowledge in a Neural Network），它使用较大的网络来教导较小的网络。它是我们方法的补充，在第4节的一些用例中有涉及。另一种新兴的方法是低比特网络（low bit networks）[4,22,11]（一些例子）。