MobileNet实现细节

群卷积：

假设上一层的输出feature map有N个，即通道数channel=N。再假设群卷积的群数目M。则先将channel分成M份。每一个group对应N/M个channel，与之独立连接。然后各个group卷积完成后将输出叠在一起（concatenate），作为这一层的输出channel。

Depthwise Convolution：

像Xception里那样，当群数目是上一层的map数时，Group Convolution就成了Depthwise Convolution

Global Depthwise Convolution：

当群数目是上一层的map数，且卷积核大小和输入尺度一样时，就成了Global Depthwise Convolution

MobileNet

MobileNetV1利用了深度可分离卷积提高了计算效率

MobileNetV2加入了线性bottlenecks和反转残差模块构成了高效的基本模块

ShuffleNet充分利用了组卷积和通道shuffle进一步提高模型效率

CondenseNet学习保留有效的dense连接在保持精度的同时降低

ShiftNet则利用shift操作和逐点卷积代替了昂贵的空间卷积。

MobileNetV3有两大创新点

1）互补搜索技术组合：由资源受限的NAS执行模块级搜索，NetAdapt执行局部搜索。

2）网络结构改进：将最后一步的平均池化层前移并移除最后一个卷积层，引入h-swish激活函数。