论证深度卷积、逐点卷积、深度可分离卷积之间的关系

已于 2023-04-01 14:20:33 修改
阅读量539 收藏 2
点赞数
文章标签： 深度学习 人工智能
于 2023-04-01 13:11:33 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_61348166/article/details/129895824
版权

首先可以得出来的结论是：深度可分离卷积=深度卷积+逐点卷积

                                          depthwise separable Convolution=depthwise Conv+pointwise Conv

首先，如下图所示，卷积经过in_channel个的groups进行分组、卷积，得到了in_channel个通道，然后在经过一个卷积核kernel_size为1*1的卷积将前面多个通道进行拼合。

此图来自于

最低0.47元/天 解锁文章
yolo我不会
关注
【深度学习】深度学习中的各种卷积
q742971636的博客
04-13 936
convolution 卷积 Transpose Convolution 转置卷积 反卷积 常用在图像分割，比如U-Net网络就用了。 Dilated convolution 膨胀卷积 空洞卷积 扩张卷积 Depthwise Separable Convolution 深度可分离卷积 MobileNet 系列网络在使用。 深度可分离卷积分为深度卷积（Depth-wise Convolution）和逐点卷积（Point-wise Convolution）两步 深度卷积就是把h×w×ch\times w\t
深度可分离卷积 深度卷积 逐点卷积
不佛的博客
10-21 9162
深度可分离卷积 = 深度卷积(Depthwise Convolution) + 逐点卷积(Pointwise Convolution)。 深度卷积 分组卷积(Group Convolution)： 输入通道数cinc_{in}cin​，输出通道数coutc_{out}cout​, 将输入feature map分为GGG组，每组分别卷积，最后进行拼接。 分组卷积作用： 参数量减少为原来的1/G1/G1/G 分组前：cincoutk2c_{in}c_{out}k^2cin​cout​k2 分组后：cinGc
机器学习——概念理解之卷积、空洞卷积、深度卷积、逐点卷积、空间可分离卷积、深度可分离卷积
热门推荐
itlilyer的博客
08-29 1万+
本文主要介绍常见的几种卷积的概念和计算方法，主要包括：卷积、空洞卷积、深度卷积、逐点卷积、空间可分离卷积、深度可分离卷积。 卷积（convolution） 讨论卷积之前先介绍一下相关的概念： 卷积核 卷积核(convolution kernel)：也叫滤波器(Filter)，就是一个nxn的矩阵，矩阵的成员就是我们要训练的权重值，整个图片使用一个卷积核这也就实现了共享权重。卷积核的值不需要提前设计，只需要初始化，然后通过训练进行优化，这也就是模型训练要做的事情。 padding填充 为了避免一些边界上的值在
深度可分离卷积
mxh3600的博客
05-10 1560
在计算资源受限制的移动端设备上，常规的卷积操作由于计算量大，经常难以满足实际运行速度的要求，这时深度可分离卷积(Depthwise Separable Convolution)就派上了用场。深度可分离卷积是由Depthwise(DW)卷积与Pointwise(PW)卷积组成。该结构和常规卷积类似，可用来提取特征，但相比常规卷积，其参数量和运算成本较低，所以在一些轻量级网络中经常用到此结构，如MobileNet、ShuffleNet。 常规卷积 对于一幅128x128像素、3通道彩色输入图像(尺寸128x
理解卷积、单通道卷积、深度卷积(多通道卷积)、逐点卷积、实战YoloV1卷积网络 、池化计算
SpaceSunflower 's ML/DL home
12-01 3904
【卷积计算】-单通道卷积 -深度卷积(多通道卷积) -逐点卷积 -实战YoloV1卷积网络 - 池化计算
深度学习中的20种卷积
人无远虑，必有近忧
07-13 1万+
大多数的卷积结构都是在精度-参数量-计算量这三个维度上进行不同的侧重取舍。两个矛盾：追求计算效率的卷积结构由于计算预算较低，无论是限制卷积层的深度，还是限制了卷积的宽度，不可避免地会导致性能的下降。追求精度提升的卷积结构由于其引入过多的卷积运算或其他额外的操作（如注意力），势必会增大内存或计算开销，从而影响模型的容量和整体的训练或推理速度。一个设计的原则就是我们如何在不增加额外参数量的情况下，尽可能利用有效的信息或者从降低冗余空间信息的角度出发，来提高模型的计算效率和卷积提取特征的能力。
Depthwise 卷积、Pointwise 卷积、深度可分离卷积与普通卷积的区别详解
guoqingru0311的博客
02-11 495
Depthwise 卷积、Pointwise 卷积、深度可分离卷积与普通卷积的区别详解
详细解释普通卷积、分组卷积、深度卷积、逐点卷积和深度可分离卷积的概念，包括它们的输入、卷积核和输出的形状。
weixin_50531046的博客
11-22 1334
class torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True, padding_mode='zeros') 概念： 在普通卷积中，每个卷积核在整个输入上滑动，通过对输入的局部区域进行加权求和来生成输出。输入层： 三维张量，通常表示为 (输入数据长, 输入数据宽，输入数据的通道数)。卷积核： 三维张量，通常表示为(in_channels,
卷积神经网络结构优化综述
m0_62870606的博客
02-14 4275
卷积神经网络结构优化综述 人工智能技术与咨询 来源：《自动化学报》，作者林景栋等 摘 要近年来,卷积神经网络(Convolutional neural network,CNNs)在计算机视觉、自然语言处理、语音识别等领域取得了突飞猛进的发展,其强大的特征学习能力引起了国内外专家学者广泛关注.然而,由于深度卷积神经网络普遍规模庞大、计算度复杂,限制了其在实时要求高和资源受限环境下的应用.对卷积神经网络的结构进行优化以压缩并加速现有网络有助于深度学习在更大范围的推广应用,目前已成为深度学习社区的...
可分离卷积基本介绍
04-11
可分离卷积基本介绍，A Basic Introduction to Separable Convolutions。
YOLOv8改进 | 卷积模块 | 减少冗余计算和内存访问的PConv【CVPR2023】
最新发布
kay_545
07-02 1547
yolov8，pconv，yolov8改进
卷积神经网络回顾之DenseNet、SENet、MobileNet系列、ShuffleNet系列
迷路的咸鱼的博客
05-07 3487
网络整理DenseNet (2017)SENet (2017)MobileNet (2018)ShuffleNet (2018) DenseNet (2017)   DenseNet 是CVPR2017 best paper《Densely Connected Convolutional Networks》中提出的，它并没有像之前的网络从增加网络的深度和宽度的角度来提升网络性能，而是借鉴了ResN...
Winograd快速卷积相关研究综述
qq_61890005的博客
12-26 505
其中Winograd卷积因大幅减少了卷积中乘法操作且占用内存更小而迅速成为小卷积核的卷积算子上快速卷积实现的首选。但目前相关工作聚焦于算法的一般化、拓展和各类体系结构上的实现,还没有研究者对Winograd卷积算法作系统性的总结。首先阐述了Winograd最小滤波算法及Winograd卷积的引入,介绍了Winograd卷积的一般化与拓展,并对比了现有实现之间的差异;对各类体系结构上的实现和优化进行了分类总结,比较了各平台上实现可用的通用优化方法,并介绍了Winograd卷积的实际应用;
不同方式卷积总结
weixin_50277857的博客
10-21 3324
卷积参数的计算方式，各种卷积的参数计算方式。
可分离卷积的基本概念
gongdiwudu的专栏
09-20 4521
任何看过MobileNet架构的人无疑都会遇到可分离卷积的概念。但是那是什么，它与普通卷积有何不同？可分离卷积有两种主要类型：空间可分离卷积和深度可分离卷积。
卷积总结篇（普通卷积、转置卷积、膨胀卷积、分组卷积和深度可分离卷积）
caip12999203000的博客
09-08 1万+
卷积总结篇（普通卷积、转置卷积、膨胀卷积、分组卷积和深度可分离卷积），分别从概念、背景、原理、参数量、计算量、感受野、各种卷积的优点以及在网络的应用展开讲解。
各种卷积的流程和优缺点
weixin_43112053的博客
10-18 1万+
卷积
Yolov5/Yolov7优化：卷积变体---分布移位卷积（DSConv）,提高卷积层的内存效率和速度
04-29 5184
yolov5优化改进，通过分布移位卷积（DSConv），提高卷积层的内存效率和速度
深度学习中的可分离卷积详解
"这篇资源是关于可分离卷积的基础介绍，主要探讨了两种类型的可分离卷积：空间可分离卷积和深度可分离卷积。作者Chi-Feng Wang在2018年的文章中详细解释了这两种技术及其与普通卷积的区别。" 可分离卷积是深度学习...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yolo我不会

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值