Depthwise Separable Convolution 深度可分离卷积

正文

Depthwise Separable Convolution 的目的是减少计算量,提高计算速度。

普通卷积

对于普通卷积,每个卷积核同时操作输入图像的每个通道。任意个与原图像同通道数的卷积核,对原图像进行卷积。生成图像通道数 = feature map数量 = 卷积核个数

深度可分离卷积

对于Depthwise Separable 卷积,将一个完整的卷积运算分解为两个步骤:Depth-wise卷积 + Point-wise 卷积。

  • Depth-wise 卷积:一个卷积核负责一个通道,一个通道只被一个卷积核卷积。
    • 生成图像通道数 = feature map数量 = 输入层通道数
    • 无法扩展feature map数量,每个通道独立进行卷积,难以有效利用不同通道在相同空间位置上的feature 信息,所以需要point-wise卷积来将这些feature map进行维度扩展,组合生成新的feature map。
  • point-wise 卷积:与普通卷积运算相似。卷积核尺寸为1*1*M,M为上一层的通道数。
    • 将上一步得到的feature map在深度方向上进行加权组合,生成新的feature map。(通道数扩展)
    • 生成feature map数量 = M(卷积核个数)

举例说明

普通卷积

普通卷积:

  1. input feature map:[12,12,3]
  2. output feature map:[8,8,256]
  3. 需要256个[5,5,3]的卷积核。

参数量:256 x 5 x 5 x 3 = 19200,

FLOPs:256 x 5 x 5 x 3 x 8 x 8 = 1228800。

Depthwise Separable Convolution

分为2部分:depth-wise卷积 + point-wise 卷积

先用depth-wise卷积进行深度分离(一个卷积核负责一个通道),再使用point-wise卷积实现特征图维度扩展。

  1. 深度分离,
    1. input feature map:[12,12,3]
    2. output feature map:[8,8,3]
    3. 需分别使用3个[5,5,1]的卷积核
  2. 进行维度扩展
    1. input feature map:[8,8,3]
    2. output feature map:[8,8,256]
    3. 需使用256个[1,1,3]的卷积核

参数量 :3 x 5 x 5 x 1 + 256 x 1 x 1 x 3 = 843

FLOPs: 3 x 5 x 5 x 1 x 8 x 8 + 256 x 1 x 1 x 3 x 8 x 8 = 53952

Depthwise Separable Convolution的FLOPs只有普通卷积的~4.4%,计算量大大降低。

但相同FLOPs条件下,深度可分离卷积的IO读取次数是普通卷积的100倍,其速度瓶颈为IO速度。

大部分时候,对于GPU,算力瓶颈在于访存带宽。而同种计算量,访存数据量差异巨大。

参考博客

什么是depthwise separable convolutions_猫猫与橙子的博客-CSDN博客_depthwise什么意思 

Depth-wise Convolution - 知乎

FLOPs与模型推理速度 - 知乎 

  • 2
    点赞
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 深度可分离卷积(Depthwise Separable Convolution)是一种卷积方式,它将卷积操作分为两步来进行:深度卷积和点卷积。其中,深度卷积对于每个输入通道分别做卷积,而点卷积则将各个输入通道的卷积结果按照权值线性组合。这样可以减少参数量,加速计算,并且能够在保持精度的前提下压缩模型。 ### 回答2: Depthwise separable convolution深度可分离卷积)是一种轻量级的卷积操作,它可以有效降低模型的参数量和计算量,从而实现更加高效的模型训练和推理。 相比于传统的卷积操作,depthwise separable convolution 由两个步骤构成:depthwise convolution(深度卷积)和pointwise convolution(逐点卷积)。具体来说,先对输入的每个通道单独进行卷积操作(即深度卷积),然后再通过逐点卷积来将各个通道的特征进行整合,最终得到输出结果。 对于一个用于目标识别的卷积网络来说,depthwise separable convolution 的主要优势在于它能够显著减少网络中的参数量和计算量。由于在进行深度卷积时,每个通道都是单独进行处理,所以会大幅降低计算量和计算时间。而逐点卷积则可以有效压缩卷积层的通道数,从而降低参数量和内存占用。 举个例子,假设对于一个输入大小为H×W×C的图像,原本需要使用大小为K×K×C×S的卷积核来进行卷积操作,其中S表示输出通道数目。那么使用 depthwise separable convolution 进行操作时,先使用大小为K×K×C的卷积核进行深度卷积(相当于使用了C个大小为K×K的卷积核),然后通过大小为1×1×CS的卷积核进行逐点卷积。这样,在输出相同结果的情况下,参数量和计算量就能大幅降低,从而加速模型的训练和推理。 总之,depthwise separable convolution 是一种轻量级的卷积操作,可以有效压缩模型的参数量和计算量,提高模型的计算效率。在目标识别等领域,可以作为一种强大的工具,用于设计更加高效的卷积神经网络。 ### 回答3: Depthwise separable convolution深度可分离卷积)是一种卷积神经网络(CNN)中用于减少网络参数个数和计算量的结构。它是由谷歌的研究者提出的一种卷积结构,并在MobileNet中得到广泛应用。 普通的卷积神经网络是由卷积层、池化层和全连接层组成。其中,卷积层是网络中最消耗时间和空间的部分,需要大量的计算资源。深度可分离卷积是一种卷积结构,通过分离卷积的过程,将卷积操作分为两个部分:深度卷积和逐点卷积。 首先,深度卷积只在每个输入通道上进行卷积操作,而不是在所有输入通道上同时进行。这样可以减少卷积核的数量。其次,逐点卷积使用1x1的卷积核,对每个通道分别进行卷积操作。这可以将通道之间的相互影响降到最低。 因为这种分离,深度可分离卷积可以明显降低计算量和模型参数,能够在保证模型精度的情况下,让模型具有更小的体积和更高的运行速度。相比于普通的卷积神经网络,深度可分离卷积具有更好的效率和性能。 深度可分离卷积的应用可以广泛用于移动端设备、无线网络等资源有限的环境中。它在现代机器学习使用中得到了广泛的应用,包括在计算机视觉领域(如图像识别、物体检测)和语音处理领域(如语音识别)等。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值