Group conv vs. Depthwise separable conv

最新推荐文章于 2024-04-21 12:15:13 发布

猴子请来的救兵�

最新推荐文章于 2024-04-21 12:15:13 发布

阅读量3k

点赞数 1

文章标签：神经网络计算机视觉深度学习 pytorch 卷积神经网络

本文链接：https://blog.csdn.net/qq_50489856/article/details/124346556

版权

本文介绍了分组卷积和深度可分离卷积的原理、效果及实现，并探讨了两者在轻量化模型中的应用。分组卷积通过减少参数量，增强滤波器之间的相关性，而深度可分离卷积则进一步将空间和通道分离，提高效率。这两种技术广泛应用于MobileNet、ShuffleNet等高效神经网络结构。

摘要由CSDN通过智能技术生成

本王有话说：这俩属于是做轻量化绕不开的经典工作，盘踞武林好多年，我们的目标学会并企图超越它。

分组卷积（Group conv）

paper

原理

分组卷积,即ResNeXt的亮点,受Inception和AlexNet的启发产生。Inception中提到,对于卷积来说,卷积核可以看做一个三维滤波器:通道维+空间维(特指特征图的W和H),常规的卷积操作其实就是实现通道相关性和空间相关性的联合映射。Inception提出假设: 卷积层通道间的相关性和空间相关性是可以退耦合的,将它们分开映射,能达到更好的效果。具体来说,不同卷积操作得到的特征图之间的耦合性较低,关注的主要特征不同,得到的特征图互为补充能够表示更完整的图像。
如下图(b)所示，分组卷积将得到g个互补的特征,然后将得到的特征进行concat组合,作为最终的输出特征图。
在这里插入图片描述

具体操作：如上图(b)所示，将(a)中常规卷积的输入分成g组，每个卷积核也相应地分成g组，在对应的组内分别做卷积，每组卷积都生成一个feature map，共生成g个feature map。
假设 input.shape = [c1, H, W] 、 output.shape = [c2, H, W]、 kernel_size=h1*w1
(a)常规卷积参数量=h1 * w1 * c1 * c2
(b)分组卷积参数量=h1 * w1 * (c1/g) * (c2/g) * g = h1 * w1 * c1 * c2 / g，其中g为分组数量。