MobileNet-v1的局限:
inveted升维:与经典的ResNet不同的是
1.ResNet先1*1Conv降维,用标准卷积,再用1*1Conv升维,全部用的是ReLu激活
2.BottleNet先用1*1Conv升维,用深度可分离卷积,再用1*1Conv降维,用的是ReLu6激活和Linear激活。
LInear:
ReL6:这是为了在移动端设备float16的低精度的时候,也能有很好的数值分辨率,如果对ReLU的激活范围不加限制,输出范围为0到正无穷,如果激活值非常大,分布在一个很大的范围内,则低精度的float16无法很好地精确描述如此大范围的数值,带来精度损失。
Inverted原理:
mobilenet-v2基本模块:bottlenet