经典CNN网络：MobileNet V1

前言

         关于深度学习中的CNN网络结构，前期能够解决问题是第一步，随着计算机技术的发展，移动设备和嵌入式设备随处可见，让移动设备也使用深度学习中的CNN网络结构自然成为一个关注点，由于CNN网络结构的参数多，模型比较大，训练的模型几乎都是几百M的，很难在移动设备运行，所以为了使CNN的网络结构在cpu也能达到理想的速度，轻量化的CNN模型应运而生。

        关于轻量化的CNN模型的设计思路有两种：

1. 对训练好的浮点模型积进行模型的压缩得到小的模型(通常说的模型量化)
2. 直接设计小模型进行训练，满足在cpu上进行推理

        其中mobilenet就是针对第二点进行的设计的。现在我们就来看看mobilenet是怎么样训练小的浮点模型的。

mobilenet的结构

mibilenet基本单元

        depthwise Convolution：针对每一个通道进行卷积

        pointwise Convolution：普通的1*1的卷积

说不清楚，那就看图吧

1）关于dw操作：是对每一个通道单独进行卷积，输出和输出的通道数没有变化

2）关于pw操作：将dw的输出当作输入，进行普通的1*1的卷积操作

还是不直观！！！怎么模型就小了？完全不出来！！！

参数计算

那我们就通过简单的示例进行说明：

普通的卷积操作

1. 假设输入D*D*M，卷积核大小为E*E，卷积核个数为N

      我们的参数计算公式：卷积核尺寸*输入的channel*卷积核数*输入尺寸

      所以普通的一次卷积的参数为E*E*M*N*D*D

mobilenet的卷积操作

       1.dw操作：假设输入D*D*M，卷积核大小为E*E，由于是对每个通道单独进行卷积操作，所以dw卷积不会改变通道数，输出还是M

dw操作卷积的参数为E*E*1*M*D*D(这里是单独对每个通道进行操作，所以channel是1)

      2.pw操作：输入D*D*M，卷积核大小为1*1，卷积核个数为N

pw操作卷积的参数为1*1*M*N*D*D

        所以经过dw和pw的操作，卷积的参数为E*E*1*M*D*D+1*1*M*N*D*D，简化一下就是E*E*M*D*D+M*N*D*D，和普通卷积的E*E*M*N*D*D相比，差别是1/N+1/E2，这里主要看1/E2，一般的卷积采用的是3*3的卷积核，所以这里为1/9，论文中的写出理论值是dw和pw操作后的参数是普通卷积参数的1/8-1/9。

解释了怎样通过dw和pw减少参数了，现在看看具体的模型结构