2020-06-05：mobilenet系列算法对比分析

1、mobilenet_V1：

• 残差块采用的是标准残差，特征提取受限于输入通道数；

• 网络最后采用relu6激活函数，会造成depthwise部分的卷积核废掉；

2、mobilenet_V2：

• 残差快采用的倒置残差，解决特征受限于通道数的问题；

• 网络最后将relu6激活函数替换为Liner线行激活函数，避免了特征信息进一步丢失造成的depthwise部分的卷积核废掉；

3、mobilenet_V3：

• 采用互补搜索算法减少了计算开销；

• 改变了计算特征的方法(V2中采用倒置残差的方法提取特征增加了计算开销，V3将V2中特征提取的3*3卷积替换为1*1卷积，然后将其前面的平均池化去除等方式减少了计算开销)；

• 网络深层使用h-swith激活函数，提高了精度，减小了延时；

• 提出了大小两种网络结构。