深度可分离卷积&&组卷积

最新推荐文章于 2024-05-16 02:19:10 发布
最新推荐文章于 2024-05-16 02:19:10 发布
阅读量1.4k 收藏 9
点赞数 2
分类专栏： 深度学习基础知识 文章标签： 深度学习 人工智能 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43921949/article/details/127191689
版权

目录

一：深度可分离卷积

深度可分离卷积完整示意图

普通卷积和深度可分离卷积计算量的对比

二：Group CONV(组卷积)

一：深度可分离卷积

深度可分离卷积被提出于MobileNet中，其主要作用用于减少模型参数和运算量。

深度可分离卷积主要由两部分构成：DW卷积和PW卷积

网络中的亮点在于（1）DW卷积（大大的减少了运算量和参数数量）

（2）增加了参数α和β

传统卷积和DW卷积的对比图如下所示：

在DW卷积中每个卷积核的深度都是为1的，每个卷积核只负责与输入特征矩阵的一个channel进行卷积运算，然后再得到相应的输出矩阵的一个channel

深度可分离卷积完整示意图

图中的PW卷积其实和普通的卷积区别不大，只是将卷积核大小变为1

普通卷积和深度可分离卷积计算量的对比

 

其中D_{F}代表的是输入特征矩阵的高和宽，D_{K}是卷积核的大小，M是输入特征矩阵的深度。然后N是输出特征矩阵的深度也对应着卷积核的个数。

所以普通卷积的计算量等于：卷积核的高*卷积核的宽*输入特征矩阵的深度*卷积核的个数N*输入特征矩阵的宽*输入特征矩阵的宽

 那么深度可分离卷积的计算量就等于DW卷积和PW卷积两种卷积的和

对于DW卷积：卷积核的高*卷积核的宽*1（因为卷积核的深度为1）*输入特征矩阵的深度*输入特征矩阵的宽度*输入特征矩阵的高度

对于PW卷积：1*1（这里的卷积核大小为1）*输入特征矩阵的深度*卷积核的个数*输入特征矩阵的高度和宽度

二：Group CONV(组卷积)

 组卷积和普通卷积对比示意图如下

假设每个卷积核的高和宽都是k，再假设输入特征矩阵的channel等于C_{in},卷积核个数等于n。普通卷积核所需要的参数数量为k*k*C_{in}*n。

而在组卷积中，在图中假设将输入特征矩阵的channel划分为两个组，然后再对每个组分别进行卷积操作。假设第一个组使用n/2个卷积核那么可以得到channel=n/2的特征矩阵，同理在第二个组中也使用n/2个卷积核，那么它的输出矩阵深度也是n/2。再将这两个特征矩阵的Contact拼接起来最终得到的特征矩阵也是n

参数量：假设卷积核的高和宽都是为k的，假设输入特征矩阵的channel等于C_{in}分成了g组，使用了g/n个卷积核。并且是划分了g个组·所以还需要乘一个g。

当分组个数与输入特征矩阵的Channel是保持一致的，并且输出特征矩阵的channel也与输入特征矩阵的channel保持一致的话，此时组卷积就是DW卷积

不想敲代码的小杨
关注
  • 2
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
深度可分离卷积
Einstellung的博客
10-11 8806
如果我告诉你，有一个层可以替代Conv2D，并且可以让模型更加轻量（即更少的可训练权重参数）、速度更快（即更少的浮点数运算），还可以让任务性能提高几个百分点，那么如何呢？ 深度可分离卷积（depthwise separable convolution）（SeparableConv2D）就可以做到这一点。这个层对输入的每个通道分别执行空间卷积，然后通过逐点卷积（1*1卷积）将输出通道混合。 这相当...
DW卷积、PW卷积、转置卷积、膨胀卷积（空洞卷积）、可变形卷积一次看个够
HHHAOA的博客
11-05 7101
DW卷积操作中，每一个卷积核是只负责一个通道的，这与普通卷积一个卷积核负责几个通道是不一样的。比如一个5*5*3的彩色图片作为输入，使用普通卷积那么卷积核就可以设置为3*3*n（n为输出通道数），而DW卷积则为3*3*3（卷积核的数量要与输入通道数量一致），所以一个卷积核只能负责一个通道。转置卷积也被人叫做反卷积或者逆卷积，其实正确的叫法就是转置卷积，并不是卷积之后通过转置卷积再得到原来的特征图，转置卷积所得到的上采样特征图中的数值与原特征图并不一样，所以反卷积或者逆卷积的叫法是不好的。
Depthwise卷积与Pointwise卷积
热门推荐
干巴他爹的小本本
08-12 12万+
Depthwise(DW)卷积与Pointwise(PW)卷积，合起来被称作Depthwise Separable Convolution(参见Google的Xception)，该结构和常规卷积操作类似，可用来提取特征，但相比于常规卷积操作，其参数量和运算成本较低。所以在一些轻量级网络中会碰到这种结构如MobileNet。 常规卷积操作 对于一张5×5像素、三通道彩色输入图片（shape为...
Python torch 深度学习——深度可分离卷积（Depthwise Separable Convolution， DSC）_深度可分离卷积代码
最新发布
2401_84140332的博客
05-16 872
深度可分离卷积学习记录。
技术 | 变形卷积核、可分离卷积？卷积神经网络中十大拍案叫绝的操作
修行2017
08-25 715
转载请注明出处： 乐投网 - 技术 | 变形卷积核、可分离卷积？卷积神经网络中十大拍案叫绝的操作     CNN从2012年的AlexNet发展至今，科学家们发明出各种各样的CNN模型，一个比一个深，一个比一个准确，一个比一个轻量。我下面会对近几年一些具有变革性的工作进行简单盘点，从这些充满革新性的工作中探讨日后的CNN变革方向。   注：下面乐投
深度可分离卷积（DepthwiseSeparableConvolution）：Depthwise卷积与Pointwise卷积
xu.hyj
07-24 8669
深度可分离卷积不用多说，在轻量级网络架构方面是一个绕不开的话题，只要接触深度学习多多少少会接触。深度可分离卷积即DepthwiseSeparableConvolution，该卷积将一个常规卷积过程划分成两个完成Depthwise卷积和Pointwise卷积，在保证输出一样时，计算量大大降低。首先来看，一个常规卷积是怎么实现的。其示意图如果我们从通道数变换的角度来看，卷积就是将3通道的tensor变为了4通道的tensor，我们来看看深度可分离卷积是怎么实现通道的变化的。...
图解AI：各种类型的卷积-标准卷积、反卷积、可分离卷积、分组卷积等
BigDream123的博客
06-02 4019
一、卷积的基本属性 卷积核（Kernel）：卷积操作的感受野，直观理解就是一个滤波矩阵，普遍使用的卷积核大小为3×3、5×5等； 步长（Stride）：卷积核遍历特征图时每步移动的像素，如步长为1则每次移动1个像素，步长为2则每次移动2个像素（即跳过1个像素），以此类推； 填充（Padding）：处理特征图边界的方式，一般有两种，一种是对边界外完全不填充，只对输入像素执行卷积操作，这样会使输出特征图的尺寸小于输入特征图尺寸；另一种是对边界外进行填充（一般填充为0），再执行卷积操作，这样可使输出特征图的
基于深度可分离卷积的苹果叶病理识别
05-06
本文以斑点落叶病等5种苹果叶病害为研究对象, 设计了一种基于深度可分离卷积的苹果叶病理识别方法. 该方法采用概率数据增强对原始数据集进行扩增, 使用迁移学习探索了深度可分离卷积神经网络在农作物病理识别中的...
可分离卷积基本介绍
04-11
可分离卷积基本介绍，A Basic Introduction to Separable Convolutions。
深度可分离卷积网络的理论与实战（TF2.0）
12-20
深度可分离卷积网络（Depthwise Separable Convolutional Neural Networks）是一种在计算机视觉领域广泛应用的卷积神经网络（CNN）优化技术。这种技术源于普通卷积操作，但通过分解卷积过程，大大降低了计算复杂度和...
TensorFlow2.0(十)–实现深度可分离卷积神经网络
12-21
深度可分离卷积神经网络（Depthwise Separable Convolutional Neural Network，DSConv）是一种旨在减少计算复杂性和模型参数数量的卷积网络结构。相比于传统的卷积层，它通过两个步骤来实现卷积操作：深度卷积...
基于深度可分离卷积网络的皮肤镜图像病灶分割方法
01-20
针对皮肤镜图像病灶难定位、病灶精准分割难以实现的问题，提出一种基于深度可分离卷积网络的皮肤镜图像病灶分割方法。首先对皮肤镜图像进行黑框移除和毛发移除处理，将图像中有碍确定病灶位置的人工噪声、天然噪声...
什么是分组卷积、深度可分离卷积?附上深度可分离卷积代码
weixin_43960370的博客
04-22 2238
分组卷积，g = in = out,此时每个卷积核只负责一个通道，生成的特征图之间不存在信息交换(即在通道维度不存在信息交换)1 x 1卷积，用来实现通道件的信息交换，但在空间层面上缺少信息交流。可以使用 torch.nn.Conv2d() 中的卷积组参数groups，来实现深度可分离卷积。groups 参数是用于控制输入和输出的连接的，表示要分的组数(in_channels 和out_channels 都必须能被 groups 参数整除)。
图像分类学习笔记（七）——MobileNet
weixin_45827876的博客
08-31 3148
一、MobileNetV1一、MobileNetV1传统的神经网络，内存需求大、运算量大，导致无法在移动设备以及嵌入式设备上运行。之前的VGG16模型权重大小大概有490M，ResNet模型权重大小大概有644M。MobileNet网络是由google团队在2017年提出的，专注于移动端或者嵌入式设备中轻量级CNN网络。相比于传统卷积神经网络，在准确率小幅降低的前提下大大减少模型参数与运算量（相比VGG16准确率减少了0.9%，但模型参数只有VGG的1/32）（一）要点。
卷积总结篇（普通卷积、转置卷积、膨胀卷积、分组卷积和深度可分离卷积）
caip12999203000的博客
09-08 9757
卷积总结篇（普通卷积、转置卷积、膨胀卷积、分组卷积和深度可分离卷积），分别从概念、背景、原理、参数量、计算量、感受野、各种卷积的优点以及在网络的应用展开讲解。
分组卷积和深度可分离卷积
阿鹏的摇滚小站
02-15 1940
一、分组卷积 二、深度卷积
『图解』深度可分离卷积
m0_60341379的博客
10-22 4508
深度可分离卷积其实是一种可分解卷积操作（factorized convolutions）。其可以分解为两个更小的操作：depthwise convolution 和 pointwise convolution。 深度卷积 与标准卷积网络不一样的是，这里会将卷积核拆分成单通道形式，在不改变输入特征图像的深度的情况下，对每一通道进行卷积操作，这样就得到了和输入特征图通道数一致的输出特征图。如上图，输入12123 的特征图，经过5513的深度卷积之后，得到了88*3的输出特征图。输入和输出的维度是不变
深度可分离卷积Depthwise Separable Convolution
知识搬运工的博客
07-14 6090
从卷积神经网络登上历史舞台开始，经过不断的改进和优化，卷积早已不是当年的卷积，诞生了分组卷积（Group convolution）、空洞卷积（Dilated convolution 或 À trous）等各式各样的卷积。今天主要讲一下深度可分离卷积（depthwise separable convolutions），这是 Xception 以及 MobileNet 系列的精华所在。 ...
transformer和卷积的组合
08-18
Transformer和卷积的组合是一种常见的结构，用于处理序列数据或图像数据。这种组合可以充分利用Transformer和卷积两者的优势，提高模型的表达能力和性能。 在自然语言处理领域，Transformer被广泛应用于处理序列数据，如文本生成、机器翻译等任务。而卷积神经网络（CNN）则擅长捕捉局部特征和平移不变性，常用于文本分类和文本情感分析等任务。为了结合两者的优势，可以将Transformer和卷积层串联或并联在一起。 一种常见的方法是将Transformer作为编码器来提取序列的全局特征，然后将这些特征输入到卷积层中进行局部特征的提取。这种结构通常被用于文本分类任务，其中Transformer负责学习句子的整体语义信息，而卷积层则负责捕捉句子中的局部特征。通过这种组合，模型可以同时学习全局和局部特征，从而提高分类性能。 在图像处理领域，Transformer和卷积的组合也被广泛应用于图像分类、目标检测和图像生成等任务。一种常见的方法是使用Transformer作为注意力机制，用于学习图像中的全局关系和上下文信息。而卷积层则用于提取图像的局部特征。通过这种组合，模型可以同时捕捉全局和局部的图像信息，从而提高模型对图像的理解能力。 总之，Transformer和卷积的组合可以充分发挥两者的优势，提高模型的表达能力和性能。在不同领域和任务中，可以根据具体需求设计合适的结构来结合Transformer和卷积。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值