深度可分离卷积 深度卷积 逐点卷积

深度可分离卷积 = 深度卷积(Depthwise Convolution) + 逐点卷积(Pointwise Convolution)。

深度卷积

分组卷积(Group Convolution)：
输入通道数$c_{in}$，输出通道数$c_{out}$, 将输入feature map分为$G$组，每组分别卷积，最后进行拼接。

分组卷积作用：

1. 参数量减少为原来的$1/G$
   分组前：$c_{in}{c}_{out}{k}^2$
   分组后：$\frac{c_{in}}{G}\frac{c_{out}}{G}{c}_{out}{k}^{2}G=\frac{c_{in}{c}_{out}{k}^2}{G}$
2. 分组卷积可看做结构化稀疏(structured sparse)，相当于正则。

分组卷积中，令分组数 $G=c_{in}=c_{out}$，分组卷积就成了深度卷积，参数量进一步减少。

深度可分离卷积

逐点卷积就是1x1的普通卷积。
因为深度卷积没有融合通道间信息，所以需要配合逐点卷积使用。