MobileNet网络

论文全称：MobileNets:Efficient Convolutional Neural Networks for Mobile Vision Applications
论文地址：https://arxiv.org/abs/1704.04861v1
传统卷积神经网络，内存需求大，运算量大导致无法在移动设备以及嵌入式设备上运行。
MobileNet网络就是专注于移动端或者嵌入式设备中轻量级CNN网络。相比传统的卷积神经网络，在准确率小幅降低的前提下大大减少了模型参数与运算量。
网络亮点：
1.Depthwise Convolution-DW卷积 大大减少运算量和参数量
2.增加超参数a—控制卷积层卷积核个数的超参数
增加超参数b—控制输入图像大小的超参数

Depthwise Separable Conv深度可分的卷积操作包括两部分：DW卷积（深度卷积）和PW卷积（逐点卷积）。
PW卷积：其实就是普通的卷积。只不过卷积核的大小等于1。


MobileNet V2网络相比MobileNet V1网络准确率更高，模型更小。
论文名称：MobileNet V2:Inverted Residuals and Linear Bottlenecks
论文地址：https://arxiv.org/abs/1801.04381
网络中的亮点：
1.Inverted Residuals–倒残差结构，也叫反向残差。
作用：可加深网络层数，训练时解决网络深度增加而出现的梯度消失问题，增加特征表达能力，减少参数量。
2.Linear Bottlenecks–线性瓶颈结构。
作用：减少参数量，减少计算量。


MobileNet V3网络
论文名称：Searching for MobileNet V3
论文地址：https://arxiv.org/abs/1905.02244
网络的三点亮点：
1.更新Block(bneck)–也就是在MobileNetV2倒残差结构的基础上进行了简单的改动。加入了SE模块–注意力机制，更新了激活函数NL。
2.使用NAS搜索参数(Neural Architecture Search)
3.重新设计耗时层结构–减少第一个卷积层的卷积核个数(32–16)，精简Last Stage(少了很多层结构，提升速度)。