深度可分离卷积

在计算资源受限制的移动端设备上，常规的卷积操作由于计算量大，经常难以满足实际运行速度的要求，这时深度可分离卷积(Depthwise Separable Convolution)就派上了用场。深度可分离卷积是由Depthwise(DW)卷积与Pointwise(PW)卷积组成。该结构和常规卷积类似，可用来提取特征，但相比常规卷积，其参数量和运算成本较低，所以在一些轻量级网络中经常用到此结构，如MobileNet、ShuffleNet。

常规卷积

对于一幅128x128像素、3通道彩色输入图像(尺寸128x128x3)，经过一个包含4个Filter的3x3卷积层(Filter的个数对应输出通道数3x3x3x4)，最终输出4个特征图(Feature Map)，

此时，卷积层共有4个Filter，每个Filter包含3个Kernel，每个Kernel的大小为3×3。因此卷积层的参数数量可以用如下公式来计算：

卷积核W x 卷积核H x 输入通道数 x 输出通道数

N_std = 4 × 3 × 3 × 3 = 108

计算量(即：卷积核W x 卷积核H x (图片W-卷积核W+1) x (图片H-卷积核H+1) x 输入通道数 x 输出通道数)：

C_std =3*3*(5-3+1)*(5-3+1)*3*4=972

深度可分离卷积

深度可分离卷积可分为两个过程，一个是逐通道卷积(Depthwise Convolution)，一个是逐点卷积(Pointwise Convolution)。

逐通道卷积

Depthwise Convolution的一个卷积核负责一个通道，一个通道只被一个卷积核卷积，这个过程产生的Feature Map通道数和输入的通道数一样。

一张5×5像素、三通道彩色输入图片（shape为5×5×3），Depthwise Convolution首先经过第一次卷积运算，DW完全是在二维平面内进行。卷积核的数量与上一层的通道数相同，通道和卷积核一一对应，所以一个3通道的卷积核经过运算后生成了3个Feature Map，(如果有same padding则尺寸与输入层相同为5×5)，如下图所示：

卷积核的shape即为：卷积核W x 卷积核H x 输入通道数

其中一个Filter只包含一个大小为3×3的Kernel，卷积部分的参数个数计算如下（即为：卷积核Wx卷积核Hx输入通道数）：

N_depthwise = 3 × 3 × 3 = 27

 计算量为（即：卷积核W x 卷积核H x (图片W-卷积核W+1) x (图片H-卷积核H+1) x 输入通道数）

C_depthwise=3x3x(5-3+1)x(5-3+1)x3=243

 Depthwise Convolution完成后的Feature map数量与输入层通道数相同，无法扩展Feature map。而且这种运算对输入层的每个通道独立进行卷积运算，没有有效的利用不同通道在相同空间位置上的feature信息，因此需要Pointwise Convolution来将这些Feature map进行组合生成新的Feature map。

逐点卷积

Pointwise Convolution的运算与常规卷积非常相似，他的卷积核大小1x1xM，M为上一层的通道数，所以这里的卷积运算会将上一步的map在深度方向上进行加权组合，生成新的Feature map。有几个卷积核就有几个Feature map，卷积核的shape即为：

1 x 1 x 输入通道数 x 输出通道数）

由于采用1x1的卷积方式，此步中涉及到的参数个数可以计算为：

1 x 1 x 输入通道数 x 输出通道数：

N_pointwise = 1 × 1 × 3 × 4 = 12

 计算量(即为：1 x 1 特征层W x 特征层H x 输入通道数 x 输出通道数）：

C_pointwise = 1 × 1 × 3 × 3 × 3 × 4 = 108

经过Pointwise Convolution之后，同样输出了4张Feature map，与常规卷积的输出维度相同。

参数对比

常规卷积的参数个数为：

N_std = 4 × 3 × 3 × 3 = 108

深度可分离卷积的参数个数由两部分参数相加得到：

N_depthwise = 3 × 3 × 3 = 27
N_pointwise = 1 × 1 × 3 × 4 = 12
N_separable = N_depthwise + N_pointwise = 39

相同的输入，同样是得到4张Feature map，Separable Convolution的参数个数是 常规卷积的约1/3，因此在参数量相同的前提下，采用Separable Convolution的神经网络层数可以做的更深。

计算量对比

常规卷积的计算量为：

C_std =3*3*(5-3+1)*(5-3+1)*3*4=972

Separable Convolution的参数由两部分相加得到：

C_depthwise=3x3x(5-3+1)x(5-3+1)x3=243
C_pointwise = 1 × 1 × 3 × 3 × 3 × 4 = 108
C_separable = C_depthwise + C_pointwise = 351

相同的输入，同样是得到4张Feature map，Separable Convolution的计算量是常规卷积的约1/3。因此，在计算量相同的情况下，Depthwise Separable Convolution可以将神经网络层数可以做的更深。 

转载：https://zhuanlan.zhihu.com/p/165632315