MobileNet

MobileNetV1

简介

MobileNet用于嵌入式设备，在小幅降低准确度的前提下，大大减少了模型参数量（仅为VGG网络的1/32）
模型亮点： 1、Depthwise Convoution(大大减少运算量和参数量）(DW卷积）
2、增加超参数a、B

1、Dw卷积

1、1 Depthwise Separable Conv(深度可分离卷积）

由Dw卷积和Pw卷积（Pointwise conv）组成

PW卷积实际上就是卷积核大小为1的卷积。

DS卷积：

理论上普通卷积计算量是DS卷积的8-9倍。

—————————————————————————————————————————————

MobileNet V2

简介

网络亮点：
1、Inverted Residuals （倒残差结构）
2、Linear Bottlenecks

1、倒残差

在正常残差块中，首先使用11卷积进行降维； 而倒残差中恰恰相反，使用11卷积先进行升维。
且，残差块中使用的激活函数为Relu，倒残差中为Relu6.
Relu：当输入值大于0时，值不变；小于0时，输入置为0.
Relu6：当值大于6时，输出值为6.
故，Relu6(x)=min(max(x,0),6)

2、Linear Bottleneck

在倒残差的最后一层1*1卷积中，使用线性激活函数，而不是Relu
(Relu对低维信息会造成较大损失，而对高纬信息损失很小。）