对MobileNet V1-V3的理解

可分离卷积分为：空间可分离卷积与深度可分离卷积
MobileNet用的是深度可分离卷积
深度可分离卷积：
深度可分离卷积=深度卷积(depthwise convolution)+逐点卷积(pointwise convolution)

一、MobileNet V1

详解
1.
设输入特征图是M维，卷积核是Dk * Dk，输出特征图是N维，大小是Dg * Dg
普通卷积：
计算量：Dk * Dk * M * N * Dg * Dg

计算量：5 * 5 * 3 * 256 * 8 * 8 ≈ 123W

深度卷积：
计算量：Dk * Dk * M * Dg * Dg

计算量：5 * 5 * 3 * 8 * 8 = 4800

逐点卷积：

计算量：1 * 1 * M * N * Dg * Dg

计算量：1 * 1 * 3 * 256 * 8 * 8 = 49152

深度可分离卷积总计算量：49152+4800≈5.3w<<123w

计算量减少：

当为3 * 3的卷积核，计算量大约是原来的1/9

2、普通卷积层与MobileNet卷积层：

ReLU6：x值大于6的时候，y取6，即给ReLU一个上限6

3、网络结构：

4、MobileNet瘦身：
（1）宽度乘数： α，减少通道数