经典CNN结构之MobileNet v1/v2/v3 路转峰回

序言

顾名思义，mobilenet面向移动端的网络计算模型。
MobileNet系列是很重要的轻量级网络家族，2017年Google出品后，迅速衍生了V1/V2/V3三个版本。

网络结构

图解

MobileNetV1

MobileNetV2

MobileNetV3

MobileNetV3-Large

MobileNetV3-Small

详解

MobileNetV1

一言以蔽之，见图：


除此之外，引入了两个超参数
*【Width Multiplier(α \alphaα): Thinner Models】*α∈(0,1] with typical settings of 1, 0.75, 0.5 and 0.25，降低模型的宽度；
*【Resolution Multiplier(ρ \rhoρ): Reduced Representation】*ρ∈(0,1] 降低输入图像的分辨率。

MobileNetV2

【Inverted residuals】操作：先通过[1X1]卷积扩大通道数再进行[3X3]卷积，最后再通过[1X1]卷积缩小回原来的通道数。目的：通过先将通道数扩大在中间层学到更多的特征，再提炼出更好表现力的特征出来。
【Linear bottlenecks】操作：经过[1X1]卷积缩小通道数后，不再采用Relu激活，而是采用Linear激活，然后进行EltwiseSum操作。目的：避免Relu函数对特征的损失。
如图所示：

MobileNetV3

基于AutoML构建，再利用人工微调对搜索结果进行优化，使用了platform-aware NAS以及NetAdapt的搜索方法，分别用于全局搜索以及局部搜索，而人工微调则调整了网络前后几层的结构、bottleneck加入SE模块以及提出计算高效的h-swish非线性激活。
MobileNetV3分为MobileNetV3-Large和MobileNetV3-Small两个版本。

创新思想

核心点

MobileNetV1

1. Depthwise Separable Convolution
2. Pointwise Convolution

MobileNetV2

引入了ResNet的残差结构，主要是指倒残差结构(the inverted residual with linear bottleneck)。

MobileNetV3

引入了资源受限的NAS（platform-aware NAS）与NetAdapt技术。

感悟点

。。。。。。

论文复现

参考论文

1.MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
2.MobileNetV2: Inverted Residuals and Linear Bottlenecks
3.Searching for MobileNetV3
4.MobileNet系列网络详细解读
5.MobileNet V1、V2、V3网络结构

代码实现

Mobilenetv2 source code.Available from https://github.com/tensorflow/models/tree/master/research/slim/nets