一文读懂Depthwise卷积

最新推荐文章于 2023-11-02 10:19:32 发布
最新推荐文章于 2023-11-02 10:19:32 发布
阅读量1.4w 收藏 43
点赞数 19
分类专栏： 机器学习 Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44106928/article/details/103079668
版权
本文详细介绍了Depthwise卷积的原理与计算开销，它只对每个通道进行一次卷积，降低了计算复杂度。此外，还探讨了DepthwiseSeparable卷积，它在Depthwise的基础上增加PointWise卷积以保持通道间信息交换。Depthwise卷积在移动端神经网络如ShuffleNet和EfficentNet中有广泛应用。
摘要由CSDN通过智能技术生成

视频来源：
https://www.bilibili.com/video/av67348232?from=search&seid=10221504884724623592

常规卷积

在这里插入图片描述
相信接触过卷积神经网络的都知道常规卷积的操作
我们通过N个DkDk大小的卷积核
卷积出来的结果
设为DnDn*N
在这里插入图片描述
现在我们来计算一下常规卷积的计算开销
在这里插入图片描述
一个卷积核做一次卷积操作需要的开销为

												Dk*Dk*M

而每个卷积核完整地卷积完一次所需开销为

												Dg*Dg*Dk*Dk*M

这里我们假设卷积出来的结果长宽为Dg
然后我们使用了N个卷积核来进行卷积
所以总计算开销为

												N*Dg*Dg*Dk*Dk*M

DepthWise卷积

下面我们来看一下Depthwise卷积
常规的卷积中，每个卷积核都对每个通道进行了一次计算

最低0.47元/天 解锁文章
MarDino
关注
专栏目录
37. Depthwise卷积与Pointwise卷积 - 干巴他爹的小本本 - CSDN博客1
08-04
经过3×3卷积核的卷积层（假设输出通道数为4，则卷积核shape为3×3×3×4），最终输出4个为尺寸变为3×3。同样是对于一张5×5像素、三通道彩色输入图片（
tf.nn.depthwise_conv2d如何实现深度卷积
BlueBubble的博客
08-28 1534
转载自 https://blog.csdn.net/mao_xiao_feng/article/details/78003476 depthwise_conv2d来源于深度可分离卷积: Xception: Deep Learning with Depthwise Separable Convolutions tf.nn.depthwise_conv2d(input,filter,stride...
深度可分离卷积(Depthwise Separable Convolution)和分组卷积(Group Convolution)的理解，相互关系及PyTorch实现
weixin_30793735的博客
03-30 2万+
深度可分离卷积(Depthwise Separable Convolution)和分组卷积(Group Convolution)的理解，相互关系及PyTorch实现 1. 分组卷积(Group Convolution) 分组卷积最早出现在AlexNet中，如下图所示。在CNN发展初期，GPU资源不足以满足训练任务的要求，因此，Hinton采用了多GPU训练的策略，每个GPU完成一部分卷积，最后把多...
深度可分离卷积（Depthwise seperable convolution）
热门推荐
冰雪棋书的博客
05-19 8万+
一、深度可分离卷积（Depthwise separable convolution） 一些轻量级的网络，如mobilenet中，会有深度可分离卷积depthwise separable convolution，由depthwise(DW)和pointwise(PW)两个部分结合起来，用来提取特征feature map。相比常规的卷积操作，其参数数量和运算成本比较低。 二、常规卷积操作 对于5x5x3的输入，如果想要得到3x3x4的feature map，那么卷积核的shape为3x3x3x4(即：)；
Depthwise 卷积 ，Pointwise 卷积与普通卷积的区别
Bolly_He的博客
04-11 7502
1 普通卷积 原理：普通卷积是，一个卷积核与input的所有通道都进行卷积，然后不同通道相同位置卷积后的结果再相加，如下图所示，：⾸先，每个通道内对应位置元素相乘再相加，最后计算所有通道的总和作为最终结果。卷积核的Channel通道数等于Input输⼊的通道数，Output输出的通道数等于卷积核的个数。 2 Depthwise 卷积 原理：Depthwise 卷积的一个卷积核只负责一个通道，一个卷积核只与一个通道卷积。那么卷积核数需要与输入的通道数相等，输出的通道数也不变，等于输入的通
深度学习网络结构笔记----Depthwise卷积与Pointwise卷积--深度可分卷积-- GoogleNet，Xception，MobileNetv1--v3
YOULANSHENGMENG的博客
11-05 5537
1，常规卷积操作 对于一张5×5像素、三通道彩色输入图片（shape为5×5×3）。经过3×3卷积核的卷积层（假设输出通道数为4，则卷积核shape为3×3×3×4），最终输出4个Feature Map，如果有same padding则尺寸与输入层相同（5×5），如果没有则为尺寸变为3×3。 Depthwise Separable Convolution是将一个完整的卷积运算分解为两步进行，即Depthwise Convolution与Pointwise Convolution。...
Depthwise卷积与Pointwise卷积
杨杨子江的博客
10-24 635
Depthwise(DW)卷积与Pointwise(PW)卷积，合起来被称作Depthwise Separable Convolution(参见Google的Xception)，该结构和常规卷积操作类似，可用来提取特征，但相比于常规卷积操作，其参数量和运算成本较低。所以在一些轻量级网络中会碰到这种结构如MobileNet。 常规卷积操作 对于一张5×5像素、三通道彩色输入图片（shape为5×5×...
深度可分离卷积（DepthwiseSeparableConvolution）：Depthwise卷积与Pointwise卷积
xu.hyj
07-24 9137
深度可分离卷积不用多说，在轻量级网络架构方面是一个绕不开的话题，只要接触深度学习多多少少会接触。深度可分离卷积即DepthwiseSeparableConvolution，该卷积将一个常规卷积过程划分成两个完成Depthwise卷积和Pointwise卷积，在保证输出一样时，计算量大大降低。首先来看，一个常规卷积是怎么实现的。其示意图如果我们从通道数变换的角度来看，卷积就是将3通道的tensor变为了4通道的tensor，我们来看看深度可分离卷积是怎么实现通道的变化的。...
技术向：一文读懂卷积神经网络
02-02
自今年七月份以来，一直在实验室负责卷积神经网络（ConvolutionalNeuralNetwork，CNN），期间配置和使用过theano和cuda-convnet、cuda-convnet2。为了增进CNN的理解和使用，特写此博文，以其与人交流，互有增益。...
一文读懂卷积神经网络.docx
最新发布
10-23
卷积神经网络
深度学习中的20种卷积
人无远虑，必有近忧
07-13 1万+
大多数的卷积结构都是在精度-参数量-计算量这三个维度上进行不同的侧重取舍。两个矛盾：追求计算效率的卷积结构由于计算预算较低，无论是限制卷积层的深度，还是限制了卷积的宽度，不可避免地会导致性能的下降。追求精度提升的卷积结构由于其引入过多的卷积运算或其他额外的操作（如注意力），势必会增大内存或计算开销，从而影响模型的容量和整体的训练或推理速度。一个设计的原则就是我们如何在不增加额外参数量的情况下，尽可能利用有效的信息或者从降低冗余空间信息的角度出发，来提高模型的计算效率和卷积提取特征的能力。
深度可分离卷积
qq_44785998的博客
03-27 1237
深度可分离卷积网络
深度学习—各种卷积
m0_47005029的博客
03-01 2828
深度学习之各种卷积了解知识
深入浅出理解深度可分离卷积（Depthwise Separable Convolution）
IT菜鸟
11-02 3万+
深入浅出理解深度可分离卷积（Depthwise Separable Convolution）
组卷积（group Conv）与深度可分离卷积（depthwise）简介
jxb727098的博客
02-11 2814
详细解释：https://zhuanlan.zhihu.com/p/92134485 个人理解：一共分为两步 1.对每个输入通道进行一个卷积，有几个通道就几个1kk的卷积平面，通道之间没有任何沟通。 2.类似全连接的手段将每个通道卷积后的特征图们关联起来。 计算量：Cin=3,Cou=2,输入特征图33大小。k=3 原来：3332=54 深度可分离：333+1132=33 333(第一步)+1132（第二步） ...
理解depth-wise 卷积
豆芽菜
03-07 667
EfficientNet利用depth-wise卷积来减少FLOPs但是计算速度却并没有相应的变快。反而拥有更多FLOPs的RegNet号称推理速度是EfficientNet的5倍。非常好奇，这里面发生了什么，为什么计算量小的网络推理速度反而慢于计算量大的网络？
Mish激活函数
码农ZZK的博客
11-13 1万+
前言 人们对激活函数都在不断探究，而现在广泛应用的激活函数通常是relu，tanh这两种 但是relu在负值的时候直接截断 梯度下降的不够平滑 因而有团队提出一种新的激活函数来进行优化 Mish激活函数 Mish激活函数的表达式为 Mish = x*tanh(ln(1+e^x)) 使用matplotlib画图可得 从图中可以看出他在负值的时候并不是完全截断 而是允许比较小的负梯度流...
depthwise 卷积是什么
04-08
Depthwise convolution is a type of convolutional operation used in deep learning for image processing tasks. It performs a separate convolution operation on each input channel, known as a depthwise convolution, and then combines the results of these operations into a single output tensor. This approach can reduce the number of parameters required for a convolutional neural network, making it more efficient and faster to train.
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值