深度可分离卷积及其代码实现

Pr Young

已于 2022-07-22 11:26:06 修改

阅读量2.4w

点赞数 52

分类专栏：深度学习文章标签：深度学习

于 2022-07-22 00:54:08 首次发布

本文链接：https://blog.csdn.net/weixin_47414034/article/details/125922622

版权

深度可分离卷积 DepthwiseConvolution PointwiseConvolution 参数效率深度学习

关键词由CSDN通过智能技术生成

深度学习专栏收录该内容

35 篇文章

订阅专栏

本文详细解析深度可分离卷积的工作原理，通过逐通道卷积和逐点卷积减少参数，对比普通卷积并提供代码实例。理解其在深度学习中的优势与应用。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

深度可分离卷积（depthwise separable conv)

一共两步，第一步先进行逐通道卷积（Depthwise Convolution），第二步进行

逐点卷积（Pointwise Convolution)

普通卷积：输入是三个通道，输出是四个通道

这里需要4个卷积核（输出几个通道就要几个卷积核，这里输出四个通道所以需要四个卷积核）

每个卷积核是3*3*3

所以参数总量是4个3*3*3，等于108个参数

深度卷积:

深度可分离卷积可分为两个过程，分别为逐通道卷积（Depthwise Convolution）和逐点卷积（Pointwise Convolution)

(1)逐通道卷积

这里参数量是3个3*3，等于27个

这样卷积的话，通道数不可改变，而且通道之间的信息也没有进行交互

（2）逐点卷积

这里我们再用四个卷积核，每个卷积核大小为1*1*3

这样的话，参数总量就是4*1*1*3+27=39

可以看到，参数量大大减少

上面两步合起来就是：

代码实现：

class DepthWiseConv(nn.Module):
    def __init__(self,in_channel,out_channel):

        #这一行千万不要忘记
        super(DepthWiseConv, self).__init__()

        # 逐通道卷积
        self.depth_conv = nn.Conv2d(in_channels=in_channel,
                                    out_channels=in_channel,
                                    kernel_size=3,
                                    stride=1,
                                    padding=1,
                                    groups=in_channel)
        # groups是一个数，当groups=in_channel时,表示做逐通道卷积

        #逐点卷积
        self.point_conv = nn.Conv2d(in_channels=in_channel,
                                    out_channels=out_channel,
                                    kernel_size=1,
                                    stride=1,
                                    padding=0,
                                    groups=1)
    
   def forward(self,input):
        out = self.depth_conv(input)
        out = self.point_conv(out)
        return out

#将普通卷积替换成深度可分离卷积
nn.Conv2d(32,128,kernal_size=3,stride=1,padding=1)

DepthWiseConv(32,128)

代码实现：

Conv2d(in_channel,out_channel,kernel_size,stride=1,padding=0,dilation=0,groups=1,bias=True)

，就代表在做深度可分离卷积（depth—wise conv)、