深度学习中组卷积(Group convolution)、深度卷积(Depthwise Convolution)以及深度可分离卷积(Depthwise Separable Convolution)的区别

最新推荐文章于 2025-02-25 18:14:16 发布
最新推荐文章于 2025-02-25 18:14:16 发布
阅读量8.4k 收藏 45
点赞数 13
文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/shentu7/article/details/105574369
版权

在轻量化网络中，经常使用组卷积、深度卷积或是深度可分离卷积来降低FLOPs，那么三者的区别在哪里呢？下面总结一下。

一、标准卷积
下面是用一个卷积核对输入特征做一次卷积，得到的输出特征的通道为1。

在这里插入图片描述
二、组卷积
组卷积是将输入特征按通道分为g组，每组特征中的通道数为 C i n g \frac{C_{in}}{g} gCin​​，所以相应的卷积核的大小也变了，通道数变少了。每次卷积后的特征按通道concat输出特征。当分组数量和输出特征的通道相同时，即只有 C o u t C_{out} Cout​个卷积核时，卷积分别对输入特征的每一组卷积1次；当输出特征的通道大于分组数量时，需要 C o u t C_{out} Cout​个卷积核对输入特征的每一组卷积 C o u t / g C_{out}/g Cout​/g次。
在这里插入图片描述
在这里插入图片描述

在这里插入图片描述

三、深度卷积
深度卷积是组卷积的极端情况，将输入特征的每一通道分为一组，即分组数为 g = C i n g=C_{in} g=Cin​。后续步骤和组卷积一致。
四、深度可分离卷积
深度可分离卷积是将深度卷积和点卷积( 1 × 1 1 \times 1 1×1卷积核)相结合。可以从深度卷积中可以得知，卷积核只是对通道的每一层进行了提取了特征，和标准卷积缺少了通道之间的信息交互。加入点卷积后可以增强特征通道之间的信息交互，进一步提升性能。具体可参考MobileNets v1。

最后本文只是对三种卷积感性上的认识，具体的不同卷积的FLOPs计算请参考这篇文章。

shentu7
关注
【深度学习基础】空洞卷积（Dilated Convolution）和深度可分离卷积（Depthwise Separable Convolution）是两种常见的卷积操作有什么特点和联系？
985小水博的摸鱼日常
01-06 879
【深度学习基础】空洞卷积（Dilated Convolution）和深度可分离卷积（Depthwise Separable Convolution）是两种常见的卷积操作有什么特点和联系？
2024年Linux最全可分离卷积及深度可分离卷积详解_深度卷积和深度可分离卷积，2024年最新高级Linux运维开发技术
code8889的博客
05-08 1185
最近很多小伙伴找我要Linux学习资料，于是我翻箱倒柜，整理了一些优质资源，涵盖视频、电子书、PPT等共享给大家！
标准卷积、分组卷积、深度卷积、深度可分离卷积区别
浩瀚之水的专栏
02-25 1030
标准卷积与分组卷积在卷积神经网络中具有显著的区别，这些区别主要体现在卷积操作方式、参数数量、计算量、模型表示能力以及适用场景上。
可分离卷积及深度可分离卷积详解
热门推荐
Harper的博客
07-17 2万+
可分离卷积 再来看一下nn.Conv2d()： torch.nn.Conv2d(in_channels, out_channels, kernel_size, stride=1, padding=0, dilation=1, groups=1, bias=True, padding_mode='zeros') 输入为(N,C_in,H,W),输出为(N,C_out,H_out,W_out). dilation空洞卷积来控制卷积膨胀间隔； groups分组卷积来控制输入和输出的连接方式，in_channe.
深度可分卷积与深度可分离卷积
weixin_45254190的博客
10-12 568
深度可分卷积与深度可分离卷积 之前在网上看了很多的关于深度可分卷积和深度可分离卷积的名词，但是关于这两个的到底是不是同一个卷积，都没有看到解释。 深度可分卷积（Depthwise Separable Convolution）是将普通的标准卷积分为了两个部分，所以叫做深度可分卷积。 1、对输入的特征图进行卷积，如果说输入的图片是三通道的，那就先用3个单层的卷积核来进行卷积，最后的输出也是三个特征图。...
组卷积（group convolution）
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
05-23 1万+
说明分组卷积之前我们用一张图来体会一下一般的卷积操作。 从上图可以看出，一般的卷积会对输入数据的整体一起做卷积操作，即输入数据：H1×W1×C1；而卷积核大小为h1×w1，通道 为C1，一共有C2个，然后卷积得到的输出数据就是H2×W2×C2。这里我们假设输出和输出的分辨率是不变的。主要看这个过 程是一气呵成的，这对于存储器的容量提出了更高的要求。 但是分组卷积明显就没有那么多的参数。先用图片直观地感受一下分组卷积的过程。对于上面所说的同样的一个问题，分组卷 积就如下图所示 可以看到，图中将..
Depth-wise convolution and Depth-wise Separable Convolution可分离卷积
weixin_39326879的博客
04-14 845
可分离卷积经常被用在轻量级网络中，下面就来具体介绍以下什么可分离卷积。 什么是可分离卷积 标准的神经网络的卷积层包含输入、输出、宽、高四个参数。对于输入10通道，输出20通道、卷积核大小77来说，有771020+20=9820个参数（因为要加上偏置），这么多参数很有可能造成过拟合。对此，人们想到了Depth-wise convolution和depth-wise separable convolu...
深度可分离卷积(Depthwise Separable Convolution)和分组卷积(Group Convolution)的理解，相互关系及PyTorch实现
weixin_30793735的博客
03-30 2万+
深度可分离卷积(Depthwise Separable Convolution)和分组卷积(Group Convolution)的理解，相互关系及PyTorch实现 1. 分组卷积(Group Convolution) 分组卷积最早出现在AlexNet中，如下图所示。在CNN发展初期，GPU资源不足以满足训练任务的要求，因此，Hinton采用了多GPU训练的策略，每个GPU完成一部分卷积，最后把多...
Python torch 深度学习——深度可分离卷积（Depthwise Separable Convolution， DSC）_深度可分离卷积代码
2401_84140332的博客
05-16 1301
深度可分离卷积学习记录。
深度可分离卷积（depthwise separable convolution）简单介绍
m0_43395719的博客
08-04 6732
1. 普通卷积 举个例子，假设有一个3×3大小的卷积层，其输入通道为16、输出通道为32，一般的操作就是用32个3×3的卷积核来分别同输入数据卷积，这样每个卷积核需要3×3×16个参数，得到的输出是只有一个通道的数据。之所以会得到一通道的数据，是因为刚开始3×3×16的卷积核的每个通道会在输入数据的每个对应通道上做卷积，然后叠加每一个通道对应位置的值，使之变成了单通道，那么32个卷积核一共需要(3×3×16)×32 =4068个参数。 假设 H x W 为输出feature map的空间大小，N为输入通道数
深度解析卷积神经网络中的卷积计算：参数量和计算量详细分析及其优化方案
02-28
深度可分离卷积（Depthwise Separable Convolution）结合了逐深度卷积和逐点卷积，先进行逐深度卷积提取空间特征，再通过逐点卷积聚合通道特征。其参数量和计算量分别为D*D*M+M*N，D*D*M*Df*Df+M*N*Df*Df。与普通...
经验笔记：标准卷积与深度可分离卷积的区别
qq_45831414的博客
12-08 1208
相比之下，深度可分离卷积（depth-wise separable convolution）通过将卷积分解为两个更简单的步骤，实现了显著的效率提升。本文将对比这两种卷积方式，深入探讨它们的工作原理及其对计算量的影响，并提供相应的实例代码。通过将标准卷积分解为depth-wise convolution和point-wise convolution两步，深度可分离卷积有效地将原本呈乘法关系的计算量转换为相加的关系。当输入和输出通道数较大时，这种转换可以大幅减少所需的参数数量和计算量，从而提高了模型的效率。
普通卷积与深度可分离卷积的区别
m0_37799466的博客
05-11 1万+
1、普通卷积的卷积方式 原始图像是二维的，大小是12x12。由于是RGB格式的，所以有三个通道，这相当于是一个3维的图片。其输入图片格式是：12x12x3。滤波器窗口大小是5x5x3。这样的话，得到的输出图像大小是8x8x1（padding模式是valid）。 对于一张12×12像素、三通道（shape为12×12×3）的图像，经过5×5卷积核的卷积层，卷积核的通道应该和输入图像的通道数相同，其卷积核个数决定了最后的输出特征图个数，就是输出通道；假设输出通道数为1，则卷积核shape为3×5×5×1，最终
深度可分离卷积
h52013141的博客
12-09 1243
逐点卷积的计算是在深度卷积的每个通道上应用 1x1 卷积核，并将结果相加。每个 1x1 卷积核应用于所有通道的同一位置，产生新的特征图。深度卷积独立处理每个输入通道，而逐点卷积负责组合这些通道的特征，这样的分解方式比标准卷积更加高效。深度卷积涉及对输入特征图的每个通道独立应用单个卷积核。深度卷积的输出是一组分离的特征图，每个通道一个。逐点卷积是一个 1x1 的卷积，用于将深度卷积的输出通道组合和混合。深度可分离卷积是一种高效的卷积操作，它将传统的卷积操作分解为两个部分：深度卷积和逐点卷积。
【深度学习笔记】组卷积
学习带来的快乐最持久~
07-28 155
Group convolution 分组卷积，最早在AlexNet中出现，由于当时的硬件资源有限，训练AlexNet时卷积操作不能全部放在同一个GPU处理，因此作者把feature maps分给多个GPU分别进行处理，最后把多个GPU的结果进行融合。 ...
深度学习面试总结-2 卷积与深度可分离卷积
weixin_44351910的博客
09-08 290
卷积与深度可分离卷积
卷积中的分组卷积
kaggle expert，全球排名前1000，清华计算机研究生，兴趣算法工程
12-07 587
左边是正常卷积，右边是分组卷积。
普通卷积，Depthwise卷积，分组卷积的对比
村民的菜篮子
11-17 1235
1、普通卷积 如上图所示 输入：H*W*c1, 卷积核：c1*k*k*c2（卷积核维度为c1*k*k，共有c2个） 输出：H'*W'*c2 参数量：c1*k*k*c2 （不考虑bias） 运算量：c1*k*k*c2*H'*W' 2、分组卷积（假设group=2） 输入：H*W*c1 卷积核：c1*k*k*c2（卷积核维度为c1*k*k，共有c2/2个） 输出：H'*W...
深度可分离卷积神经网络与普通卷积网络的区别
weixin_42206101的博客
11-17 2085
深度可分离卷积神经网络与普通卷积神经网络的区别 深度可分离卷积的方法有所不同。正常卷积核是对3个通道同时做卷积。也就是说，3个通道，在一次卷积后，输出一个数。 深度可分离卷积分为两步： 第一步先用三个卷积对三个通道分别做卷积，这样在一次卷积后，输出3个数。 第二部用这输出的三个数，再通过一个1x1x3的卷积核，得到一个数。 可以清楚的看出深度可分离与普通卷积神经网络的区别，就是添加了一个1*1的卷积核。 如果仅仅是提取一个属性，深度可分离卷积的方法，不如正常卷积。随着要提取的属性越来越多，深度可分离卷积就能
深度可分离卷积(Depthwise Separable Convolution)
最新发布
04-07
### 深度可分离卷积（Depthwise Separable Convolution，DSC）的概念 深度可分离卷积是一种高效的卷积方法，它通过分解标准卷积操作来减少计算复杂性和参数数量。具体来说，深度可分离卷积可以分为两个阶段：逐通道卷积（Depthwise Convolution）和逐点卷积（Pointwise Convolution）。这种方法最早由 Google 提出并应用于 Xception 和 MobileNet 等模型中[^4]。 #### 逐通道卷积（Depthwise Convolution） 逐通道卷积是指对输入数据的每一个通道分别应用单独的小型卷积核进行处理。假设输入张量有 \( C \) 个通道，则每个通道都会独立地使用一个大小为 \( K \times K \) 的卷积核进行卷积操作。这种方式显著减少了所需的参数数量，因为不再需要跨通道共享权重[^3]。 #### 逐点卷积（Pointwise Convolution） 逐点卷积是一个普通的 \( 1 \times 1 \) 卷积操作，用于调整通道数或将不同通道的信息重新组合在一起。这一部分的主要作用是在保持低计算开销的同时增加网络表达能力。 --- ### 深度可分离卷积的实现方式 以下是深度可分离卷积的具体实现流程： 1. **逐通道卷积**：对于输入张量中的每个通道，执行一次小型卷积操作。 2. **逐点卷积**：利用 \( 1 \times 1 \) 卷积将上一步的结果融合成新的特征图。 这种设计使得深度可分离卷积相比传统卷积具有更低的计算成本和更少的参数，非常适合于资源受限环境下的轻量化神经网络架构。 --- ### PyTorch 中的代码示例 以下是一个简单的深度可分离卷积在 PyTorch 中的实现： ```python import torch import torch.nn as nn class DepthwiseSeparableConv(nn.Module): def __init__(self, in_channels, out_channels, kernel_size=3, padding=1): super(DepthwiseSeparableConv, self).__init__() # 定义逐通道卷积 (Depthwise Convolution) self.depthwise_conv = nn.Conv2d( in_channels=in_channels, out_channels=in_channels, groups=in_channels, kernel_size=kernel_size, padding=padding, bias=False ) # 定义逐点卷积 (Pointwise Convolution) self.pointwise_conv = nn.Conv2d( in_channels=in_channels, out_channels=out_channels, kernel_size=1, bias=False ) def forward(self, x): # 执行逐通道卷积 x = self.depthwise_conv(x) # 执行逐点卷积 x = self.pointwise_conv(x) return x # 测试代码 if __name__ == "__main__": input_tensor = torch.randn(1, 3, 32, 32) # 输入形状 [batch_size, channels, height, width] model = DepthwiseSeparableConv(in_channels=3, out_channels=64) output = model(input_tensor) print(output.shape) # 输出形状应为 [1, 64, 32, 32] ``` 上述代码定义了一个 `DepthwiseSeparableConv` 类，其中包含了两步核心操作：逐通道卷积和逐点卷积。测试代码展示了如何创建一个随机输入张量并通过该模块得到输出[^1]。 --- ###
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值