MobileNet v1

MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications

Abstract

MobileNets是用于移动和嵌入式视觉应用的高效模型。MobileNets是基于流线型架构，使用深度可分离卷积来构建轻量级深度神经网络。

论文介绍了两个简单的全局超参数，可以在延迟和准确度之间有效折中。这些超参数允许模型构建器根据问题的约束为其应用选择合适大小的模型。我们展示了关于资源和准确度权衡的大量实验，并且在ImageNet分类上与其它流行模型进行比较展现MobileNets的高效性能。然后我们展示了MobileNets在各种应用中的有效性，包括对象检测、细粒度分类和大规模地理定位。

 

Introduction

自从AlexNet通过赢得ImageNet比赛推广深度卷积神经网络以来，卷积神将网络已经在计算机视觉中普遍应用，总体趋势是制造更深层更复杂的网络来提高准确度。然而这些提高准确度的努力并不一定使网络在大小和速度方面更有效率。在许多现实世界的应用里，比如机器人、自动驾驶和增强现实，识别任务需要在计算有限的平台上及时进行。本文描述了一种高效的网络结构和两个超参数来建立很小、低延迟的模型，可以很容易的达到移动端和嵌入式视觉应用的设计要求。

 

Prior Work

现阶段，在建立小型高效的神经网络工作中，通常可分为两类工作：

压缩预训练模型。基于乘积量化、散列哈希、修剪、矢量量化和Huffman编码等压缩方法，此外，大量因素被提出来加速预训练网络。另一个训练小型网络的方法是蒸馏，该方法使用更大的网络来训练更小的网络，这是我们的方法的补充，还有一种叫做低比特网络。

直接训练小型模型。扁平化网络利用完全分解的卷积构建网络，并展示了全因式分解网络的潜力。独立于当前论文，因式分解网络引入了类似的因式分解卷积核拓扑连接的使用。随后，Xception网络展示了如何扩展深度可分离滤波器来战胜Inception V3网络。另一个小型网络是Squeezenet，它使用瓶颈方法来设计小型网络，其他减小的网络包括结构化变换网络和深度煎炸网络。

本文提出了一类网络结构允许模型开发者专门选择与其应用程序的资源限制（延迟、大小）想匹配的小型网络。MobileNets主要专注于优化延迟，但也会产生小型网络，许多同类论文只关注了大小但没考虑速度。MobileNets主要由深度可分离卷积构建，随后用于Inception模型来减少在前几层的计算。

 

MobileNet Architecture

在这一节我们首先介绍MobileNet的核心层，即深度可分离滤波器。我们然后介绍了MobileNet网络结构和两个模型缩减超参：宽度乘数和分辨率乘数。

深度可分离卷积

MobileNet模型基于深度可分离卷积，它是因式分解卷积的一种形式，将一个标准的卷积分解成一个深度卷积和一个1×1的逐点卷积。MobileNets中深度卷积在每一个输入通道上实现一个单独的滤波器，然后点对点卷积实现一个1×1的卷积来将深度卷积的输出结合起来。标准卷积在一步中既滤波又合并输入成一个新的输出。而深度可分离卷积将它分成了2层，一层用来滤波一层用来合并。该分解大大的减少了计算和模型体积，如下图所示。