深度可分离卷积（depthwise separable convolution）

深度可分离卷积是由depthwise(DW)逐通道卷积和pointwise(PW)逐点卷积两个部分结合起来，用来提取特征feature map

常规的卷积

如上图，对于一张5x5x3的图像进行常规操作的卷积，假设采用3x3大小的卷积核进行卷积，输出通道为4，则卷积核的shape为3x3x3x4,经过卷积后得到4个Feature Map。
该卷积层的参数个数N = 4 × 3 × 3 × 3 = 108个
计算量C= 3 x 3 x (5-2) x (5-2) x 3 x 4 = 972次

深度可分离卷积

• 逐通道卷积

Depthwise Convolution的一个卷积核负责一个通道，一个通道只被一个卷积核卷积

如上图，对于一张5x5x3的图像进行卷积，假设采用3x3大小的卷积核进行卷积，卷积核的数量和输入通道数相同，即通道和卷积核一一对应，则卷积核的shape为3x3x3,经过卷积后得到3个Feature Map。
该卷积层的参数个数N = 3 × 3 × 3 = 27个
计算量C= 3 x 3 x (5-2) x (5-2) x 3 = 243次

Depthwise Convolution完成后的Feature map数量与输入层的通道数相同，无法扩展Feature map。而且这种运算对输入层的每个通道独立进行卷积运算，没有有效的利用不同通道在相同空间位置上的feature信息。因此需要Pointwise Convolution来将这些Feature map进行组合生成新的Feature map

• 逐点卷积

Pointwise Convolution的运算与常规卷积运算非常相似，它的卷积核的尺寸为 1×1×M，M为上一层的通道数。所以这里的卷积运算会将上一步的map在深度方向上进行加权组合，生成新的Feature map。有几个卷积核就有几个输出Feature map

如上图，将逐通道卷积得到的Feature Map进行卷积，采用1x1x3大小的卷积核进行卷积，则卷积核的shape为1x1x3x4,经过卷积后得到4个Feature Map。
该卷积层的参数个数N = 1 × 1 × 3 x 4 = 12个
计算量C= 1 x 1 x 3 x 3 x 3 x 4 = 108次

对比

常规卷积操作：
参数量N=108
计算量S=972

深度可分离卷积操作：
参数量N=27+12=39
计算量S=243+108=351

相同的输入，同样是得到4张Feature map，Separable Convolution的参数个数是常规卷积的约1/3。因此，在参数量相同的前提下，采用Separable Convolution的神经网络层数可以做的更深。