对MobileNet的一些理解

资料来源：https://blog.csdn.net/mao_feng/article/details/75116085

MobileNet 的思想：

传统的深度学习网络进行卷积操作时，常常默认卷积核的深度与输入(DF)的深度保持一致，通过设置卷积核的大小k、步长以及数目N来提取图像的特征，这样一次卷积操作的总运算量是

DK*DK*M*N*DF*DF

MobileNet采用的方法是将采用两次卷积的方式，第一次卷积时，卷积核的深度设为1，运算量为DK*DK*M*DF*DF，第二次卷积时，采用1x1卷积的方式打通通道，运算量是M*N*DF*DF

通过这种方式能极大的减少模型运算量。

MobileNet_v2优化的一些理解：

2 conclusion：Linear Bottleneck的细微改进：

首先是加入了bottleneck，从而进一步缩小了模型的参数量，并且采用先升维后降维的方法做bottleneck，实验证明效果更好；

其次，当维度增加以后，进行Relu操作，而当维度下降以后，取消relu操作，这是因为当维度很多时，对特征的表达能力较强，甚至有可能出现不同维度表示的是统一特征的信息，因此使用Relu在减少计算量的同时，不会对模型的精度造成影响，另一方面，当维度很少时，Relu的使用会武断的去掉一部分有用特征表述，从而造成特征丢失。