一文读懂Depthwise卷积

最新推荐文章于 2025-04-07 16:09:23 发布
最新推荐文章于 2025-04-07 16:09:23 发布
阅读量1.4w 收藏 43
点赞数 19
分类专栏： 机器学习 Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44106928/article/details/103079668
版权
本文详细介绍了Depthwise卷积的原理与计算开销，它只对每个通道进行一次卷积，降低了计算复杂度。此外，还探讨了DepthwiseSeparable卷积，它在Depthwise的基础上增加PointWise卷积以保持通道间信息交换。Depthwise卷积在移动端神经网络如ShuffleNet和EfficentNet中有广泛应用。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

视频来源：
https://www.bilibili.com/video/av67348232?from=search&seid=10221504884724623592

常规卷积

在这里插入图片描述
相信接触过卷积神经网络的都知道常规卷积的操作
我们通过N个DkDk大小的卷积核
卷积出来的结果
设为DnDn*N
在这里插入图片描述
现在我们来计算一下常规卷积的计算开销
在这里插入图片描述
一个卷积核做一次卷积操作需要的开销为

												Dk*Dk*M

而每个卷积核完整地卷积完一次所需开销为

												Dg*Dg*Dk*Dk*M

这里我们假设卷积出来的结果长宽为Dg
然后我们使用了N个卷积核来进行卷积
所以总计算开销为

												N*Dg*Dg*Dk*Dk*M

DepthWise卷积

下面我们来看一下Depthwise卷积
常规的卷积中，每个卷积核都对每个通道进行了一次计算

最低0.47元/天 解锁文章
【深度学习】深度学习中的各种卷积
q742971636的博客
04-13 1046
convolution 卷积 Transpose Convolution 转置卷积 反卷积 常用在图像分割，比如U-Net网络就用了。 Dilated convolution 膨胀卷积 空洞卷积 扩张卷积 Depthwise Separable Convolution 深度可分离卷积 MobileNet 系列网络在使用。 深度可分离卷积分为深度卷积（Depth-wise Convolution）和逐点卷积（Point-wise Convolution）两步 深度卷积就是把h×w×ch\times w\t
一文读懂深度学习中常见的卷积操作
diidiii的博客
11-28 1685
在计算机视觉中，卷积通常指的是二维卷积，用于处理图像等二维数据。卷积过程涉及一个称为卷积核（或滤波器）的小矩阵，该矩阵在输入数据（如图像）上滑动，并与每个位置的相应区域进行点乘后相加，生成新的数值作为输出的一部分。空洞卷积（Atrous Convolution），也被称为膨胀卷积（Dilated Convolution），是一种特殊的卷积操作，其主要特点是能够在不改变卷积核大小的情况下扩大感受野。其中，W1 是输入矩阵的宽度，K是卷积核的宽度，P是填充的宽度，S是步长，而W2则是输出矩阵的宽度。
卷积核里面的参数怎么来的_深度可分离卷积（Depthwise separable convolution）
weixin_39669265的博客
11-30 1630
一、深度可分离卷积（Depthwise separable convolution）一些轻量级的网络，如mobilenet中，会有深度可分离卷积depthwise separable convolution，由depthwise(DW)和pointwise(PW)两个部分结合起来，用来提取特征feature map。相比常规的卷积操作，其参数数量和运算成本比较低。二、常规卷积操作对于5x5x3的输...
关于深度可分离卷积
最新发布
qq_45670407的博客
04-07 1357
关于深度学习中的深度可分离卷积
Depthwise卷积与Pointwise卷积
热门推荐
干巴他爹的小本本
08-12 12万+
Depthwise(DW)卷积与Pointwise(PW)卷积，合起来被称作Depthwise Separable Convolution(参见Google的Xception)，该结构和常规卷积操作类似，可用来提取特征，但相比于常规卷积操作，其参数量和运算成本较低。所以在一些轻量级网络中会碰到这种结构如MobileNet。 常规卷积操作 对于一张5×5像素、三通道彩色输入图片（shape为...
深度学习网络结构笔记----Depthwise卷积与Pointwise卷积--深度可分卷积-- GoogleNet，Xception，MobileNetv1--v3
YOULANSHENGMENG的博客
11-05 7127
1，常规卷积操作 对于一张5×5像素、三通道彩色输入图片（shape为5×5×3）。经过3×3卷积核的卷积层（假设输出通道数为4，则卷积核shape为3×3×3×4），最终输出4个Feature Map，如果有same padding则尺寸与输入层相同（5×5），如果没有则为尺寸变为3×3。 Depthwise Separable Convolution是将一个完整的卷积运算分解为两步进行，即Depthwise Convolution与Pointwise Convolution。...
深度可分离卷积（DepthwiseSeparableConvolution）：Depthwise卷积与Pointwise卷积
xu.hyj
07-24 9714
深度可分离卷积不用多说，在轻量级网络架构方面是一个绕不开的话题，只要接触深度学习多多少少会接触。深度可分离卷积即DepthwiseSeparableConvolution，该卷积将一个常规卷积过程划分成两个完成Depthwise卷积和Pointwise卷积，在保证输出一样时，计算量大大降低。首先来看，一个常规卷积是怎么实现的。其示意图如果我们从通道数变换的角度来看，卷积就是将3通道的tensor变为了4通道的tensor，我们来看看深度可分离卷积是怎么实现通道的变化的。...
理解depth-wise 卷积
豆芽菜
03-07 803
EfficientNet利用depth-wise卷积来减少FLOPs但是计算速度却并没有相应的变快。反而拥有更多FLOPs的RegNet号称推理速度是EfficientNet的5倍。非常好奇，这里面发生了什么，为什么计算量小的网络推理速度反而慢于计算量大的网络？
从Xception网络中聊聊深度可分离卷积
奥古斯都
07-20 829
Xception: Deep Learning with Depthwise Separable Convolutions，在这篇文章中应用了深度可分离卷积。对于卷积来说可以看作三维的滤波器：通道维度+空间维度，常规的卷积就实现空间相关性和通道相关性。传统的卷积就是把所有通道当作一个整体来进行卷积，而在Xception文章中把通道数进行分组然后再卷积，然后再联合。 这幅图和Xception最接近，先进行1*1的卷积，然后再每个通道上进行3*3的卷积。将这个结果Concat起来就是卷积的结果，当然这也是
详述Deep Learning中的各种卷积（四）
Redflashing
01-24 2434
作者：Redflashing 本文梳理举例总结深度学习中所遇到的各种卷积，帮助大家更为深刻理解和构建卷积神经网络。 本文将详细介绍以下卷积概念： 2D卷积（2D Convolution） 3D卷积（3D Convolution） 1∗11*11∗1卷积（1∗11*11∗1 Convolution） 反卷积（转置卷积）(Transposed Convolution） 扩张卷积（Dilated Convolution / Atrous Convolution) 空间可分卷积（Spatially Separ
卷积神经网络结构发展概览
xu_aml的博客
02-05 1814
卷积神经网络发展概览 一、早期探索LeNetAlexNetVGG二、深度化ResNetDenseNet三、模块化GoogLeNetInception V2Inception V3Inception V4ResNeXtXception四、注意力SENetscSECBAM五、高效化SqueezeNetMobileNetShuffleNet六、自动化NASNetEfficientNet 卷积神经网络的结构发展概述，主要包括： 早期探索：Hubel实验、LeNet、AlexNet、ZFNet、VGGNet 深度
Depthwise 卷积 ，Pointwise 卷积与普通卷积的区别
Bolly_He的博客
04-11 8179
1 普通卷积 原理：普通卷积是，一个卷积核与input的所有通道都进行卷积，然后不同通道相同位置卷积后的结果再相加，如下图所示，：⾸先，每个通道内对应位置元素相乘再相加，最后计算所有通道的总和作为最终结果。卷积核的Channel通道数等于Input输⼊的通道数，Output输出的通道数等于卷积核的个数。 2 Depthwise 卷积 原理：Depthwise 卷积的一个卷积核只负责一个通道，一个卷积核只与一个通道卷积。那么卷积核数需要与输入的通道数相等，输出的通道数也不变，等于输入的通
深度可分离卷积
qq_44785998的博客
03-27 1356
深度可分离卷积网络
深入浅出理解深度可分离卷积（Depthwise Separable Convolution）
IT菜鸟
11-02 8万+
深入浅出理解深度可分离卷积（Depthwise Separable Convolution）
深度可分离卷积 （Depth-wise Separabel Convolution）
Demon_LMMan的博客
04-22 1303
深度可分离卷积 深度可分离卷积 = depth-wise conv + point-wise conv。 depth-wise conv：输入特征图每个通道作为一个group，用一个kernel处理。 point-wise conv：kernel size =1 的普通卷积。 import torch import torch.nn as nn stride = 1 kernel_size = 3 in_ch = 10 out_ch = 3 conv_normal = nn.Conv2d(in_chan
【深度学习】各种经典卷积之Depthwise卷积
weixin_42322991的博客
11-07 564
DW卷积
深度学习面试题24：在每个深度上分别卷积(depthwise卷积)
weixin_30498921的博客
08-20 237
目录 　　举例 　　单个张量与多个卷积核在深度上分别卷积 　　参考资料 举例 如下张量x和卷积核K进行depthwise_conv2d卷积 结果为： depthwise_conv2d和conv2d的不同之处在于conv2d在每一深度上卷积，然后求和，depthwise_conv2d没有求和这一步，对应代码为： ...
深度分离卷积
Recursions的博客
10-09 822
深度可分离卷积通过分解标准卷积，降低了计算量与参数量，是轻量级模型设计中的关键技术，特别适用于对计算资源要求较高的移动和嵌入式设备。
Depthwise卷积
02-20
### Depthwise 卷积的概念 Depthwise 卷积是卷积神经网络中一种特殊的卷积方式，其主要特点是将输入通道分别独立处理。传统卷积会在多个输入通道上同时应用同一个卷积核并汇总结果；而 Depthwise 卷积则为每个输入通道分配单独的卷积核，在各自的空间维度上执行卷积操作[^1]。 这种设计减少了计算复杂度和模型参数数量，因为不再需要跨通道共享权重。具体来说，对于一个具有 \(C_i\) 输入通道的数据，Depthwise 卷积会使用 \(C_i\) 个不同的小卷积核（通常是3x3），每一个只作用于对应的单一输入通道[^2]。 ```python import tensorflow as tf depthwise_conv_layer = tf.keras.layers.DepthwiseConv2D( kernel_size=(3, 3), strides=(1, 1), padding='same', depth_multiplier=1, activation=None ) input_tensor = tf.random.normal([1, 28, 28, 64]) # 假设输入有64个通道 output_tensor = depthwise_conv_layer(input_tensor) print(output_tensor.shape) # 输出形状应保持不变，除了最后一个维度可能变化取决于depth_multiplier ``` ### 使用方法 在实际编程环境中实现 Depthwise 卷积相对简单。以上述代码为例展示了如何利用 TensorFlow 库创建一层 Depthwise 卷积层。这里的关键在于设置 `depth_multiplier` 参数，它决定了每个输入通道经过 Depthwise 卷积后的输出通道数倍增因子，默认值为1意味着每个输入通道对应一个输出通道。 ### Depthwise 卷积的作用与应用场景 Depthwise 卷积能够有效减少计算资源消耗的同时保留甚至提升性能表现。由于降低了参数总量以及浮点运算次数(FLOPs)，这使得该技术特别适用于移动设备或其他硬件受限环境下的高效部署。此外，在一些视觉任务如目标检测、姿态估计等领域也有广泛应用，尤其是在 MobileNet 系列架构中作为核心组件之一被采用。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值