CNN-day10-经典神经网络MobileNet V1＆V2＆V3

day11-经典神经网络MobileNet V1＆V2＆V3

一、MobileNet V1

1 网络简介

传统的卷积神经网络参数量大，导致预测时算力大，对于手机、嵌入式等移动设备来讲部署慢且占用空间，无法满足需求。

2017年，Google提出的移动端高效率模型MobileNet：相比VGG16，分类准确率下降了0.9%，但是模型参数仅仅是VGG16的1/32到1/33。

2 网络创新

2.1 Depth wise Convolution深度可分离卷积

DW卷积核的通道等于1，每个卷积核分别与输入特征每个channel进行卷积计算，从而得到输出特征矩阵的每个channel，总结：输入特征的channel = 卷积核个数 = 输出特征channel。

计算量相比于标准卷积降低了1个数量级，但没有有效利用不同通道在相同空间位置上的信息，鉴于此，我们需要再加一个PW卷积（Pointwise Conv，点卷积，大小1×1）

2.2常规卷积与DW卷积对比

3 整体结构

4 压缩比较

模型参数量与计算量压缩比较：

通常DW卷积和PW卷积是放在一起的，这种卷积比普通卷积能节省大量的计算量，论文中有相关公式求解计算量：分子为深度可分卷积的计算量，分母为普通卷积的计算量（步距默认为1）：DW负责特征提取，PW负责特征融合

5 MobileNet 大小控制

Width multiplier 系数α：按比例减少通道数 Resolution multiplier 系数ρ：按比例降低特征图的大小

5.1宽度系数

Width multiplier系数α取值范围为(0,1]，计算公式公式：

$$
D_K\cdot D_K\cdot\alpha M\cdot D_F\cdot D_F+\alpha M\cdot\alpha N\cdot D_F\cdot D_F
$$

$$
常取值为1，0.25，0.5，0.75，计算量与参数量大概按着\alpha^2比例下降。
$$

5.2分辨率系数

Resolution multiplier系数ρ取值范围为(0,1]，计算公式如下：

$$
D_K\cdot D_K\cdot\alpha M\cdot\rho D_F\cdot\rho D_F+\alpha M\cdot\alpha N\cdot\rho D_F\cdot\rho D_F
$$