【AI】轻量级神经网络——MobileNetV1 到 MobileNetV2 的论文解读

前言

• MobileNets是谷歌公司在2017年发布的一种轻量化的、可以在手机等移动终端运作的神经网络结构。
• V1版本的主要目的，就是给传统卷积网络瘦身，仅此而已。
• V2版本是改进V1的一些缺点。

1、MobileNetV1

MobileNetV1于2017年由谷歌提出，是一个轻量级的卷积网络，用于在移动设备上面跑。其实介绍MobileNetV1只有一句话，MobileNetV1就是把VGG（什么是VGG见我这篇博客）中的标准卷积换成了深度可分离卷积。

• 首先利用3×3的深度可分离卷积提取特征，然后利用1×1的卷积来扩张通道。用这样的block堆叠起来的MobileNetV1既能较少不小的参数量、计算量，提高网络运算速度
• MobileNet v1它的整个网络大部分是基于深度可分离卷积的，只有网络前面几层使用普通卷积，整个网络参数比GoogLeNet小2.5倍，但是准确率比GoogLeNet高
• 如果卷积核大小为3*3的话，深度可分离卷积的参数通常是标准卷积的8–9分之一，在计算量和参数数量明显下降之后，新的卷积网络可以应用在性能有瓶颈的移动端平台。

那具体的深度可分离卷积是怎么回事呢？

(1) 深度可分离卷积是什么？

首先说一下什么是普通卷积：

• 输入一个12×12×3的一个输入特征图，经过5×5×3的卷积核卷积得到一个8×8×1的输出特征图。

• 如果此时我们想要256个特征图（相当于卷积核里面的参数变换256次，从而得到256次不同的特征输出），我们将会得到一个8×8×256的输出特征图。

• 这就是普通的卷积。
  
  深度可分离卷积：

• 与标准卷积网络不一样的是，卷积核拆分成为但单通道形式，在不改变输入特征图像的深度的情况下，对每一通道进行卷积操作，这样就得到了和输入特征图通道数一致的输出特征图。

• 如图：输入12×12×3的特征图，经过5×5×1×3的深度卷积之后，得到了8×8×3的输出特征图。输入个输出的维度是不变的3。

• 这样就会有一个问题，通道数太少，特征图的维度太少，能获取到足够的有效信息吗？
  

深度卷积的结构：

• 上图左边是标准卷积层，右边是V1的卷积层，虚线处是不相同点。V1的卷积层，首先使用3×3的深度卷积提取特征，接着是一个BN层，随后是一个ReLU层，在之后就会逐点卷积，最后就