深度可分离卷积_深度可分离卷积性能研究

最新推荐文章于 2024-05-16 02:19:10 发布
最新推荐文章于 2024-05-16 02:19:10 发布
阅读量3.1k 收藏 22
点赞数 9
文章标签： 深度可分离卷积
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39541681/article/details/111382230
版权
本文对比了深度可分离卷积与普通卷积的性能，发现深度可分离卷积在参数量和计算量上显著减少，但在GPU上的速度并不一定更快，特别是在TPU和某些CPU平台上。在训练测试中，普通卷积在精度和数据吞吐量上表现出优势，而CPU平台在使用深度可分离卷积时表现最佳。
摘要由CSDN通过智能技术生成

对比普通卷积和深度可分离卷积FLOPs，在不同硬件平台下对比计算强度，实测训练和工程部署的精度和计算量。

深度可分离卷积(简写 DepSep Conv)已经被证明了可以作为传统卷积的有效代替方案，并且已经成熟地应用在了很多模型中，例如非常有实际工程意义的两个网络MobileNet[1]和EfficientNet[2]。

使用深度可分离卷积的网络相比传统卷积网络，具有较少的参数，并且在浮点运算(FLOPs)上也具有非常大的优势。但是由于现在一些计算加速器(GPU,NPU等)的复杂程度很大，导致FLOPs和参数数量等指标和实际性能不符。

在这篇文章中，我们将对比深度可分离卷积和普通卷积之间的区别，然后通过测试研究解释GPU的理论性能和现实性能之间的差异。

深度可分离卷积和普通卷积对比

•普通卷积过程

c6e01b66d4e3d22c90ede5ae06b8df8a.png

•深度可分离卷积过程

深度可分离卷积可以看做是两个过程，第一个过程是将深度信息分离，第二个过程是使用1*1卷积来进行通道融合，还原到目标尺寸

909c6109468e2286395e8cc62dc108b9.png

•两者参数量和计算量比较

779ac2751506cdbc53420af49be21a67.png

计算量也就是FLOPs，普通卷积的参数量(Parameters)为 Dk·Dk·M·N 深度可分离卷积的参数量为Dk·Dk·M+M·N,假设卷积核尺寸为Dk=3，输入特征图维度M=128，输出特征图维度N=128，输入特征图尺寸为224，可以分别计算一下两者的参数量和计算量

</
普通卷积 深度可分离卷积
最低0.47元/天 解锁文章
weixin_39541681
关注
  • 9
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【深度学习】利用深度可分离卷积减小计算量及提升网络性能
李响
05-25 1016
【深度学习】利用深度可分离卷积减小计算量及提升网络性能 文章目录 1 深度可分离卷积 2 一个深度可分离卷积层的代码示例（keras） 3 优势与创新 3.1 Depthwise 过程 3.2 Pointwise 过程 4 Mobilenet v1 5 Xception 1 深度可分离卷积 深度可分离卷积提出了一种新的思路：对于不同的输入channel采取不同的卷积核进行卷积，它将普通的卷积操作分解为两个过程。 深度可分离卷积层对每个channel分别执行卷积，然后通过逐点卷积将这些输出混合。这
深度可分离卷积
zhao_crystal的博客
02-26 3457
目录 1. 深度可分离卷积模型结构 2.深度可分离卷积的由来 2.1 InceptionV3模型结构 2.2引入深度可分离卷积 3. 深度可分离卷积与普通卷积的计算量 3.1 普通卷积的计算量 3.2 深度可分离卷积计算量 4. 实战 深度可分离卷积，可以用较小的精度损失来换取极大的计算量以及内存的减小。从而使得普通的卷积神经网络能够在计算能力比较低的设备上运行，比如手机等。 1. 深度可分离卷积模型结构 2.深度可分离卷积的由来 2.1 InceptionV3模型...
Python torch 深度学习——深度可分离卷积（Depthwise Separable Convolution， DSC）_深度可分离卷积代码
最新发布
2401_84140332的博客
05-16 951
深度可分离卷积学习记录。
深度可分离卷积（Xception 相关）
dujuancao11的博客
07-20 3702
卷积神经网络经过不断的改进和优化，卷积早已不是当年的卷积，诞生了分组卷积（Group convolution）、空洞卷积（Dilated convolution 或 À trous）等各式各样的卷积。今天主要讲一下深度可分离卷积（depthwise separable convolutions），这是 Xception 以及 MobileNet 系列的精华所在。 从 Inception module 到深度可分离卷积 Xception 的论文中提到，对于卷积来说，卷积核可以看做一个三维的滤波器：通道维.
卷积 vs. 深度可分离卷积（FLOPs计算量）
MaxeeoveCR的博客
10-12 1032
卷积 vs. 深度可分离卷积（FLOPs计算量） FLOPs（FLoat Point OPerations）浮点计算量 1.二维卷积 输入特征图：(H,W,Cin)(H,W,C_{in})(H,W,Cin​) 卷积核：(K,Cout)(K,C_{out})(K,Cout​)，步长为SSS，Padding为PPP 输出特征图：(Hout,Wout,Cout)(H_{out},W_{out},C_{out})(Hout​,Wout​,Cout​) 其中 Hout=(H+2∗P−K+1)/SH_{out}
深度可分离卷积_MobileNet-深度可分离卷积
weixin_39765325的博客
12-17 412
论文地址：MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications​arxiv.orgMobileNet的核心就是Depthwise separable convolution（深度可分离卷积），它将一般的卷积过程分为了depthwise convolution（逐深度卷积）和pointwi...
基于深度可分离卷积的苹果叶病理识别
05-06
本文以斑点落叶病等5种苹果叶病害为研究对象, 设计了一种基于深度可分离卷积的苹果叶病理识别方法. 该方法采用概率数据增强对原始数据集进行扩增, 使用迁移学习探索了深度可分离卷积神经网络在农作物病理识别中的...
可分离卷积基本介绍
04-11
可分离卷积基本介绍，A Basic Introduction to Separable Convolutions。
基于深度可分离卷积网络的皮肤镜图像病灶分割方法
01-20
针对皮肤镜图像病灶难定位、病灶精准分割难以实现的问题，提出一种基于深度可分离卷积网络的皮肤镜图像病灶分割方法。首先对皮肤镜图像进行黑框移除和毛发移除处理，将图像中有碍确定病灶位置的人工噪声、天然噪声...
tf.keras_分类模块_CNN-深度可分离.ipynb_nose8eu_keras_CNN_tf.keras_分离卷积_
09-29
总的来说，这个项目展示了如何使用Keras和TensorFlow构建一个高效的CNN模型，特别是利用深度可分离卷积来节省计算资源，同时保持良好的分类性能。在实际应用中，这样的模型不仅可以用于手写数字识别，还可以扩展到...
深度可分离卷积网络的理论与实战（TF2.0）
12-20
总结来说，深度可分离卷积网络是一种有效的模型优化技术，它通过将卷积分解为两个更简单的步骤，减少了计算复杂度，使模型能够在移动设备上实现高效的运行，同时保持良好的性能。在TensorFlow 2.0等深度学习框架中，...
「深度学习一遍过」必修14：基于pytorch研究深度可分离卷积与正常卷积的性能差异
闭关修炼——暂退
08-05 1082
本专栏用于记录关于深度学习的笔记，不光方便自己复习与查阅，同时也希望能给您解决一些关于深度学习的相关问题，并提供一些微不足道的人工神经网络模型设计思路。专栏地址：「深度学习一遍过」必修篇 目录 1 正常卷积 2 深度可分离卷积 3 性能比较 1 正常卷积 以某二分类问题为例 核心代码 class simpleconv3(nn.Module): def __init__(self): super(simpleconv3,self).__init__() ...
Depthwise Separable Convolution 深度可分离卷积
m0_61899108的博客
01-23 2058
正文 Depthwise Separable Convolution的目的是减少计算量，提高计算速度。 普通卷积 对于普通卷积，每个卷积核同时操作输入图像的每个通道。任意个与原图像同通道数的卷积核，对原图像进行卷积。生成图像通道数 = feature map数量 = 卷积核个数 深度可分离卷积 对于Depthwise Separable 卷积，将一个完整的卷积运算分解为两个步骤：Depth-wise卷积 + Point-wise 卷积。 Depth-wise 卷积：一个卷积核负责一个通道，一个.
Depthwise Convolution深度可分离卷积
qq_37464479的博客
02-27 3301
Depthwise Convolution 是一种轻量级的卷积操作，通过将标准卷积拆分成深度上的卷积（Depthwise Convolution）和点卷积（Pointwise Convolution）两个部分来减少计算量。在深度可分离卷积中，“dw weight” 通常指的是深度卷积的权重参数。在使用深度可分离卷积时，可以使用较小的卷积核和较少的参数量来构建更深、更宽的神经网络。，对于每个输入通道，都使用这个尺寸的卷积核进行卷积操作。深度卷积是一种只对输入的每个通道进行卷积的操作。是输入数据的通道数。
该捋清！卷积、可分离卷积的参数和FLOPs计算！
idol24的博客
02-05 863
前言：水平有限，如有失严谨或错误处，望指出纠正不要着急，我们先假设：输入feature maps的通道数、输出的通道数、卷积核尺寸（长和宽一样时）分别为：输出的feature maps的...
即插即用的涨点模块之变体卷积（深度可分离卷积）详解及代码，可应用于检测、分割、分类等各种算法领域
qq_51511878的博客
04-21 1561
来源：CVPR2017深度可分离卷积（Depthwise Separable Convolution）是一种有效的卷积神经网络（CNN）中的卷积操作，主要用于减少模型的计算量和参数数量，同时尽量保持相同的网络性能。这种卷积操作在移动和嵌入式设备上的应用尤为重要，因为这些设备的计算资源有限。深度可分离卷积有mobileNets提出，用于模型的轻量化。
深度可分离卷积vs标准卷积
weixin_44762713的博客
12-20 1359
本文只比较深度可分离卷积与标准卷积的参数量、运算量、时间，模型性能请看Mobilenet系列论文。 1. Model 深度可分离卷积 import torch import torch.nn as nn import torch.nn.functional as F import time from torchstat import stat class Depthpoint_conv(nn.Module): def __init__(self, C_in, C_out, kernel_si
对深度可分离卷积、分组卷积、空洞卷积的通俗理解(上篇)
MIss-Y的博客
02-14 3082
python进阶教程机器学习深度学习长按二维码关注进入正文对深度可分离卷积、分组卷积、空洞卷积的通俗理解声明：卷积神经网络经过这些年的发展已经非常成熟，有着非常繁多的网络...
深度可分离卷积_MixNets将多尺度深度卷积引入NAS
weixin_39834678的博客
12-17 456
摘要:MixNet 是google在AutoML领域的又一力作，深度分离卷积在当前轻量级卷积神经网络得到广泛应用，但其卷积核尺寸却很少得到关注，比如目前网络主体只使用3*3尺寸的卷积核。论文首先分析了在深度分离卷积中使用不同尺寸的深度卷积核对最终结果的影响，进而又进行实验证明组合多尺寸卷积核可以取得更好的精度与效率。基于以上实验结论，论文提出一种新的混合深度卷积(Mixed Depthw...
可分离卷积相较于深度可分离卷积的优势
03-20
可分离卷积和深度可分离卷积都是在卷积神经网络中用于减少参数数量和计算量的技术。它们的主要区别在于参数共享的方式不同。 可分离卷积是将标准卷积操作分解为两个步骤：深度卷积和逐点卷积。首先，深度卷积在每个输入通道上进行卷积操作，生成一组中间特征图。然后，逐点卷积在这些中间特征图上进行逐点操作，将它们合并为最终的输出特征图。这种方式可以显著减少参数数量和计算量。 深度可分离卷积是可分离卷积的一种改进形式。它引入了一个额外的步骤：逐通道卷积。在深度可分离卷积中，首先进行逐通道卷积，对每个输入通道进行独立的卷积操作。然后，进行逐点卷积，将逐通道卷积的结果合并为最终的输出特征图。这种方式进一步减少了参数数量和计算量，并且可以更好地捕捉输入数据的空间相关性。 相较于深度可分离卷积，可分离卷积的优势在于计算效率更高。由于可分离卷积只进行了深度卷积和逐点卷积两个步骤，参数数量和计算量相对较少。而深度可分离卷积引入了逐通道卷积的额外步骤，虽然可以更好地捕捉空间相关性，但也增加了计算量和参数数量。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值