深度可分离卷积(Depthwise Separable Convolution)和分组卷积(Group Convolution)的理解，相互关系及PyTorch实现

最新推荐文章于 2025-03-19 15:53:31 发布

置顶

z-bingo

最新推荐文章于 2025-03-19 15:53:31 发布

阅读量2w

点赞数 39

分类专栏： PyTorch 文章标签： PyTorch 分组卷积深度可分离卷积 CNN

本文链接：https://blog.csdn.net/weixin_30793735/article/details/88915612

版权

1. 分组卷积(Group Convolution)

分组卷积最早出现在AlexNet中，如下图所示。在CNN发展初期，GPU资源不足以满足训练任务的要求，因此，Hinton采用了多GPU训练的策略，每个GPU完成一部分卷积，最后把多个GPU的卷积结果进行融合。 AlexNet结构图
接下来回顾一下常规卷积是怎样进行的，假设输入的特征图(Tensor)的shape为 $C_{in} \times H \times W$ ，输出通道数为 $C_{out}$ ，那么，卷积过程中就会有 $C_{out}$ 个卷积核(Convolution Kernel)，每个卷积核的尺寸为 $C_{in} \times K \times K$ ，其中， $K$ 为卷积核的大小，换句话说，就是每个卷积核会和输入特征图的每个通道都进行卷积计算，每个卷积核的计算结果是各通道卷积结果的和。文字可能枯燥，下图是是常规卷积的示意图。
常规卷积示意图
可以很明显看出，常规卷积的计算结果中，特征图的每个通道和输入特征图的所有通道都有关。下图是分组卷积的示意图，差别就非常明显了。分组卷积的输出特征图的每个通道，只和输入特征图的一部分通道有关，而这部分通道，就是一个分组(Group)。依旧假设输入特征图的尺寸为 $C_{in} \times H \times W$ ，分为3组进行分组卷积，那么，对于每一组，输出特征图的通道数都是 $C_{out}/3$ ，卷积核大小变为 $C_{in} \times K \times K$ ，最后只需要将各个分组的计算结果按照通道进行连接(Cat)即可。