深度可分离卷积（depthwise separable convolution）简单介绍

1. 普通卷积

假设 H x W 为输出feature map的空间大小，N为输入通道数，K x K为卷积核的大小，M为输出通道数，则标准卷积的计算量为 HWNK²M 。
这里重要的一点是，标准卷积的计算量与 (1)输出特征图H x W的空间大小，(2)卷积核K的大小，(3)输入输出通道的数量N x M成正比。

如图所示：

import torch
from torchsummary import summary
import torch.nn as nn

class Conv(nn.Module):
    def __init__(self, in_ch, out_ch, kernel_size，stride，padding，groups):
        super(Conv, self).__init__()
        self.conv = nn.Conv2d(
            in_channels=in_ch,
            out_channels=out_ch,
            kernel_size=kernel_size,
            stride=stride,
            padding=padding,
            groups=groups,
            bias=False 
            )

    def forward(self, input):
        out = self.conv(input)
        return out

conv = Conv( in_channels=16, out_channels=32, kernel_size=3，stride=1，padding=1，groups=1)

举个例子，假设有一个3×3大小的卷积层，其输入通道为16、输出通道为32，一般的操作就是用32个3×3的卷积核来分别同输入数据卷积，这样每个卷积核需要3×3×16个参数，得到的输出是只有一个通道的数据。之所以会得到一通道的数据，是因为刚开始3×3×16的卷积核的每个通道会在输入数据的每个对应通道上做卷积，然后叠加每一个通道对应位置的值，使之变成了单通道，那么32个卷积核一共需要16×3×3×32 =4068个参数。

2. 分组卷积

分组卷积是卷积的一种变体，将输入的feature map的通道分组，对每个分组的通道独立地进行卷积。

同样如上所示，定义分组卷积

conv = Conv( in_channels=16, out_channels=32, kernel_size=3，stride=1，padding=1，groups=4)

一共需要(16×3×3×32)/4=1152个参数

3. 深度可分离卷积

深度可分离卷积包含两步操作：
1 逐通道卷积 depthwise convolution
2 逐点卷积 pointwise convolution

逐通道卷积 depthwise convolution

逐点卷积 pointwise convolution

深度可分离卷积分成depthwise convolution和pointwise convolution。其中深度卷积是不只是要求group和input_channel一致。还要求input_channel和output_channel一致。也就是说对每一个通道都要单独进行卷积操作。我们举例来看一下：

conv1 = Conv( in_channels=16, out_channels=16, kernel_size=3，stride=1，padding=1，groups=16)
conv2 = Conv( in_channels=16, out_channels=32, kernel_size=1，stride=1，padding=0，groups=1)

一共需要(16×3×3×16)/16+ 16×1×1×32=656个参数

达到了同样的输出效果。但是参数量却基本减少了8到9倍。

**

4. 深度可分离卷积 模型

**