MobileNets论文笔记

MobileNetV1
MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications

原文地址：MobileNetV1

更详细的解读请看：https://blog.csdn.net/u011974639/article/details/79199306

---

前期工作

许多建立小神经网络的方法可以大致分为两类：压缩训练好的模型，直接训练小模型。

压缩方法有product quantization, hashing, pruning, vector quantization and Huffman coding. 还有一种叫蒸馏（distillation），它用一个大网络指导一个小网络。

MobileNets允许选择一个跟资源限制相匹配的小网络。

MobileNets基于深度可分离卷积（depthwise separable convolutions）。

网络结构

Mobilenet的核心层是depthwise separable filters.

Mobilenet有两个调节延迟与精度的超参数，width multiplier和resolution multiplier.

depthwise separable convolutions

depthwise separable convolutions是把一个标准卷积分解为depthwise convolution和一个pointwise convolution(1乘1卷积）.

这样标准卷积层的计算量就有

但depthwise convolution对每个channel只用一个Dk x Dk 的filter，共M个，这样计算量就有

然后pointwise convolution 的1 x 1的卷积，把depthwise layer的输出线性组合，计算量有

于是depthwise separable convolutions总计算量是二者之和。

 

网络结构与训练

本模型把大量的计算变成了1x1的卷积，这就可以使用高度优化的 general matrix multiply(GEMM) functions。通常卷积使用GEMM需要做一个叫im2col的初始化重排，但1x1卷积不需要重排可以直接计算。

模型参数很少，不用weight dacay。

使用更少的正则化和数据扩充，因为小模型不容易过拟合。

When training MobileNets we do not use side heads or label smoothing and additionally reduce the amount image of distortions by limiting the size of small crops that are used in large Inception training。

Width Multiplier：更小的模型

Width Multiplier α 把输入通道数M和输出通道数N分别变成αM和αN.

计算量变为

α在0,1之间，通常为1.

Resolution Multiplier：更少的表示

Resolution Multiplier ρ 缩小了输入图，于是后续的表示层也相应缩小了。

应用了Width Multiplier α 和Resolution Multiplier ρ的计算量为

ρ在0，1之间，通常为1.ρ的设置是输入分辨率通常为224,192,160,128.