深度可分离卷积(depthwise separable convolution)简单介绍

1. 普通卷积

假设 H x W 为输出feature map的空间大小,N为输入通道数,K x K为卷积核的大小,M为输出通道数,则标准卷积的计算量为 HWNK²M 。
这里重要的一点是,标准卷积的计算量与 (1)输出特征图H x W的空间大小,(2)卷积核K的大小,(3)输入输出通道的数量N x M成正比。

如图所示:

import torch
from torchsummary import summary
import torch.nn as nn

class Conv(nn.Module):
    def __init__(self, in_ch, out_ch, kernel_size,stride,padding,groups):
        super(Conv, self).__init__()
        self.conv = nn.Conv2d(
            in_channels=in_ch,
            out_channels=out_ch,
            kernel_size=kernel_size,
            stride=stride,
            padding=padding,
            groups=groups,
            bias=False 
            )

    def forward(self, input):
        out = self.conv(input)
        return out
conv = Conv( in_channels=16, out_channels=32, kernel_size=3,stride=1,padding=1,groups=1)

举个例子,假设有一个3×3大小的卷积层,其输入通道为16、输出通道为32,一般的操作就是用32个3×3的卷积核来分别同输入数据卷积,这样每个卷积核需要3×3×16个参数,得到的输出是只有一个通道的数据。之所以会得到一通道的数据,是因为刚开始3×3×16的卷积核的每个通道会在输入数据的每个对应通道上做卷积,然后叠加每一个通道对应位置的值,使之变成了单通道,那么32个卷积核一共需要16×3×3×32 =4068个参数。

2. 分组卷积

分组卷积是卷积的一种变体,将输入的feature map的通道分组,对每个分组的通道独立地进行卷积。

在这里插入图片描述
同样如上所示,定义分组卷积

conv = Conv( in_channels=16, out_channels=32, kernel_size=3,stride=1,padding=1,groups=4)

一共需要(16×3×3×32)/4=1152个参数

3. 深度可分离卷积

深度可分离卷积包含两步操作:
1 逐通道卷积 depthwise convolution
2 逐点卷积 pointwise convolution

逐通道卷积 depthwise convolution
在这里插入图片描述
逐点卷积 pointwise convolution
在这里插入图片描述

深度可分离卷积分成depthwise convolution和pointwise convolution。其中深度卷积是不只是要求group和input_channel一致。还要求input_channel和output_channel一致。也就是说对每一个通道都要单独进行卷积操作。我们举例来看一下:

conv1 = Conv( in_channels=16, out_channels=16, kernel_size=3,stride=1,padding=1,groups=16)
conv2 = Conv( in_channels=16, out_channels=32, kernel_size=1,stride=1,padding=0,groups=1)

一共需要(16×3×3×16)/16+ 16×1×1×32=656个参数

达到了同样的输出效果。但是参数量却基本减少了8到9倍。

**

4. 深度可分离卷积 模型

**

在这里插入图片描述

  • 2
    点赞
  • 39
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 深度可分离卷积(Depthwise Separable Convolution)是一种卷积方式,它将卷积操作分为两步来进行:深度卷积和点卷积。其中,深度卷积对于每个输入通道分别做卷积,而点卷积则将各个输入通道的卷积结果按照权值线性组合。这样可以减少参数量,加速计算,并且能够在保持精度的前提下压缩模型。 ### 回答2: Depthwise separable convolution深度可分离卷积)是一种轻量级的卷积操作,它可以有效降低模型的参数量和计算量,从而实现更加高效的模型训练和推理。 相比于传统的卷积操作,depthwise separable convolution 由两个步骤构成:depthwise convolution(深度卷积)和pointwise convolution(逐点卷积)。具体来说,先对输入的每个通道单独进行卷积操作(即深度卷积),然后再通过逐点卷积来将各个通道的特征进行整合,最终得到输出结果。 对于一个用于目标识别的卷积网络来说,depthwise separable convolution 的主要优势在于它能够显著减少网络中的参数量和计算量。由于在进行深度卷积时,每个通道都是单独进行处理,所以会大幅降低计算量和计算时间。而逐点卷积则可以有效压缩卷积层的通道数,从而降低参数量和内存占用。 举个例子,假设对于一个输入大小为H×W×C的图像,原本需要使用大小为K×K×C×S的卷积核来进行卷积操作,其中S表示输出通道数目。那么使用 depthwise separable convolution 进行操作时,先使用大小为K×K×C的卷积核进行深度卷积(相当于使用了C个大小为K×K的卷积核),然后通过大小为1×1×CS的卷积核进行逐点卷积。这样,在输出相同结果的情况下,参数量和计算量就能大幅降低,从而加速模型的训练和推理。 总之,depthwise separable convolution 是一种轻量级的卷积操作,可以有效压缩模型的参数量和计算量,提高模型的计算效率。在目标识别等领域,可以作为一种强大的工具,用于设计更加高效的卷积神经网络。 ### 回答3: Depthwise separable convolution深度可分离卷积)是一种卷积神经网络(CNN)中用于减少网络参数个数和计算量的结构。它是由谷歌的研究者提出的一种卷积结构,并在MobileNet中得到广泛应用。 普通的卷积神经网络是由卷积层、池化层和全连接层组成。其中,卷积层是网络中最消耗时间和空间的部分,需要大量的计算资源。深度可分离卷积是一种卷积结构,通过分离卷积的过程,将卷积操作分为两个部分:深度卷积和逐点卷积。 首先,深度卷积只在每个输入通道上进行卷积操作,而不是在所有输入通道上同时进行。这样可以减少卷积核的数量。其次,逐点卷积使用1x1的卷积核,对每个通道分别进行卷积操作。这可以将通道之间的相互影响降到最低。 因为这种分离,深度可分离卷积可以明显降低计算量和模型参数,能够在保证模型精度的情况下,让模型具有更小的体积和更高的运行速度。相比于普通的卷积神经网络,深度可分离卷积具有更好的效率和性能。 深度可分离卷积的应用可以广泛用于移动端设备、无线网络等资源有限的环境中。它在现代机器学习使用中得到了广泛的应用,包括在计算机视觉领域(如图像识别、物体检测)和语音处理领域(如语音识别)等。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值