Mobilenet——深度可分离卷积

mobilenet的设计初心

在深度学习的道路上，为了满足越来越多的企业和用户的需求，模型的结构越来越复杂，模型的计算量越来越大，模型也越来越庞大。而对于嵌入段和移动端而言，在大小受限的情况下，就需要对模型提出了要求，需要小巧而高准确率的模型。
基于此，有两种解决办法：一种就是对已经训练好的模型进行压缩，得到小的模型；另一种就是重新设计小的模型来进行训练。
而mobilenet就是其中的第二种，它的独特之处就在于深度可分离卷积。深度可分离卷积也在mobilenet网络中首次被提出。

深度可分离卷积的意义所在

1x1卷积-融合和降维
标准卷积将每个卷积核与图片的所有输入通道分别进行卷积运算，而深度可分离卷积将一个标准卷积拆分为深度卷积和逐点卷积，深度卷积针对每个输入通道采用不同的卷积核，即一个卷积核对应一个输入通道，而逐点卷积其实就是普通的卷积，只不过其采用 1x1 的卷积核，其目的是实现不同通道间特征的融合以及通道方向上的升维或降维，从卷积的结果上看二者差别不大，但深度可分离卷积的运算量要远远低于标准卷积的运算量。

深度可分离卷积模型图:

以输入特征层为 M∗N∗16，输出 32 通道为例，卷积核尺寸为 33，在标准卷积情况下计算量为 M∗N∗16∗3∗3∗32(M∗N∗4608)，而在深度可分离卷积情况下计算量（M∗N∗656）为深度卷积的计算量 M∗N∗16∗3∗3 加上逐点卷积的计算量:M∗N∗16∗1∗1*∗32[28]，可以看到计算量大大减少了，随着网络的加深，这种卷积的计算优势会更加明显。