2d卷积、分组卷积与深度可分离卷积

卷积核选取计算

卷积的本质

卷积核在图像(数据矩阵)上滑动，生成卷积结果；
卷积的相关参数有卷积核的大小(k x k),步长stride，填充padding，常见的卷积核有1 x 1,3 x 3, 5 x 5,图中就是一个3 X 3 卷积核，步长为1 ,无填充。填充可以使卷积前后大小一样。
卷积后大小的计算公式为:

$=\frac{l-k+2p}{s}+1$
为什么是3 X 3这样的小卷积核，而不是7 X 7，9 X 9这样的大核？
1.节省参数量
一次 5 X 5与2次 3 X 3有相同感受野
对于32 X 32 的矩阵，
用3 X 3进行两次卷积，池化：
32 X 32 ---- 30 X 30 ----15 X 15 ----（p =1)14 X 14 ----7 X 7
用9 X 9进行一次卷积，池化：
32 X 32 ---- 24X 24 ----12 X 12
两次卷积参数量为18,一次为81
2.增加网络深度，网络越深拟合性能越好

分组卷积

分组卷积(Group Convolution) 起源于2012年的 AlexNet - 《ImageNet Classification with Deep Convolutional Neural Networks》，将Feature Maps分给多个GPU(两块rx580，yyds)进行处理，最后把多个GPU的结果进行融合

标准2D卷积：w × h × C × C’

分组卷积：w × h × C/2 × C’/2 × 2

参数量减少到原来的1/2，而且在某些情况下，分组卷积能带来的模型效果确实要优于标准的2D 卷积，是因为组卷积的方式能够增加相邻层filter之间的对角相关性，而且能够减少训练参数，不容易过拟合，这类似于正则的效果。

深度可分离卷积

深度可分离卷积，在轻量级环境下常用，比如Mobilenet
下面两幅图分别就是depthwise卷积和pointwise卷积的示意图：

可以看出depthwise卷积相当于更多分组的的分组卷积，pointwise卷积是1 X 1的2d卷积。
depthwise卷积的计算量更少，常用于轻量级平台，如MobileNet网络
pointwise卷积主要用于升维和降维。