论文笔记 MobileNets v1轻量化网络介绍

1.MobileNets目标

卷积网络的复杂性使得对图像的分类精度得到提高，但这并不能带来速度的提升，而在自动驾驶，机器人技术等应用领域，识别技术应该在计算受限的平台上实时运行。

本文为移动和嵌入式视觉应用提出了一个MobileNets的有效模型。该网络结构使用深度可分离卷积来构建轻型深度神经网络，并且引入了两个超参数可以在延迟和精度之间进行权衡。

2.MobileNets网络结构

2.1 深度可分离卷积 （Depthwise Separable Convolution）

MobileNet模型基于深度可分离卷积，它是分解卷积的一种形式，它将标准卷积分解为深度卷积（Depthwise Convolutional）和逐点卷积的1×1卷积(Pointwise Convolution)。标准卷积既过滤又将输入合并为一组新的输出。深度可分离卷积将其分为两层，一个用于过滤的单独层和一个用于合并的单独层。

假设卷积核长宽为$Dk$, 输入特征的通道数为$M$,输出通道数为$N$, 输入特征维数为$DF\times DF\times M$，输出特征维数为$DF\times DF\times N$。

• 标准卷积，如图(a)所示卷积核大小为$Dk\times Dk\times M$，卷积核数为$N$，总参数为$Dk\times Dk\times M\times N$。标准卷积需要的计算成本为$Dk\times Dk\times M\times N\times DF\times DF$。
• 深度卷积, 如图(b)对输入特征的每一个通道有一个单层的卷积核，不同通道之间互不相干，所以卷积大小为参数$Dk\times Dk\times 1$，卷积核数为$M$，输出特征的通道数仍然为M。计算成本为$Dk\times Dk\times M\times DF\times DF$。
• 逐点卷积即为1×1卷积 ，目的是对不同通道的特征进行一个合并，所以卷积核大小为$1\times 1\times M$，卷积核数为$N$。计算成本为$M\ast N\ast DF\ast DF$。
• 
  相比标准卷积而言，深度可分离卷积在计算量上减少了
  
  标准卷积层和深度可分离卷积层对比：标准卷积层后连接一个BN层和ReLU层，而深度可分离卷积先通过一个深度卷积层，BN层，ReLU层，然后通过一个逐点卷积层，BN层和ReLU层。
  
  MobileNet第一层卷积为标准卷积，其余卷积层都采用深度可分离卷积。除了最后一层全连接层接softmax，其余每一层后面都连接BN和ReLU，网络的下采样操作由卷积层的stride实现。最终平均池化在完全连接的层之前将空间分辨率降低为1。
  

2.2 宽度乘数 Width Multiplier

为了构造这些较小且计算量较小的模型，我们引入了一个非常简单的参数α，称为宽度乘数。宽度乘数α的作用是使每一层的网络均匀变薄。对于给定Width Multiplier为α,范围在0-1。输入通道数M变为αM,输出通道数N变为αN。计算量为

宽度乘数的作用减少计算成本和参数数量，从而降低了计算成本。

2.3 分辨率乘数 Resolution Multiplier

减少神经网络计算成本的第二个超参数是分辨率乘数ρ，将特征的长宽分别缩小ρ。分辨率乘数并不能减小网络参数。

3.Experiment

MobileNet相比标准卷积网络，在ImageNet的精度只降低1%，但网络参数和计算量有着明显的下降。

Table 6展示了使用宽度乘数α缩小MobileNet体系结构时的精度，计算和尺寸折衷。准确度会逐渐下降，直到架构在α= 0.25时变得太小为止。

Table 7通过训练具有降低的输入分辨率的MobileNet，显示了不同分辨率乘数的精度，计算和尺寸的取舍。精度在整个分辨率上都会下降。

Table 8将完整的MobileNet与原始的GoogleNet 和VGG16 进行比较。 MobileNet的准确度几乎与VGG16一样，但要小32倍，而计算强度却要低27倍。它比GoogleNet更精确，但体积更小，计算量减少了2.5倍以上。