Group conv vs. Depthwise separable conv

本王有话说：这俩属于是做轻量化绕不开的经典工作，盘踞武林好多年，我们的目标学会并企图超越它。

分组卷积（Group conv）

paper

原理

分组卷积,即ResNeXt的亮点,受Inception和AlexNet的启发产生。Inception中提到,对于卷积来说,卷积核可以看做一个三维滤波器:通道维+空间维(特指特征图的W和H),常规的卷积操作其实就是实现通道相关性和空间相关性的联合映射。Inception提出假设: 卷积层通道间的相关性和空间相关性是可以退耦合的,将它们分开映射,能达到更好的效果。具体来说,不同卷积操作得到的特征图之间的耦合性较低,关注的主要特征不同,得到的特征图互为补充能够表示更完整的图像。
如下图(b)所示，分组卷积将得到g个互补的特征,然后将得到的特征进行concat组合,作为最终的输出特征图。

具体操作：如上图(b)所示，将(a)中常规卷积的输入分成g组，每个卷积核也相应地分成g组，在对应的组内分别做卷积，每组卷积都生成一个feature map，共生成g个feature map。
假设 input.shape = [c1, H, W] 、 output.shape = [c2, H, W]、 kernel_size=h1*w1
(a)常规卷积参数量=h1 * w1 * c1 * c2
(b)分组卷积参数量=h1 * w1 * (c1/g) * (c2/g) * g = h1 * w1 * c1 * c2 / g，其中g为分组数量。

效果

官方观点：group conv能够增加 filter之间的对角相关性,而且能够减少训练参数,避免过拟合,类似于正则化效果。
本王认为：换个角度，用少量的参数量和运算量就能生成大量的feature map，大量的feature map意味着能