深度学习基础--卷积--group conv

最新推荐文章于 2024-06-28 16:05:09 发布
最新推荐文章于 2024-06-28 16:05:09 发布
阅读量1.3k 收藏
点赞数
分类专栏： 深度学习基础
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wydbyxr/article/details/84099103
版权

group conv

  在Xception、ResNext、Mobilenet、shufflenet中都有。

作用

  group convolution还是很有用的，比如训练人脸的五官，五个是不同的东西，特征不同，分5个group就可以分开学，相当方便。
  实现locally share的convolution layer的时候能用上。

whitenightwu
关注
专栏目录
【YOLOv8改进-卷积Conv】DualConv( Dual Convolutional)：用于轻量级深度神经网络的双卷积核
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
06-05 714
CNN架构通常对内存和计算资源的要求较高，这使得它们在硬件资源有限的嵌入式系统中难以实现。我们提出了一种用于构建轻量级深度神经网络的双卷积核（DualConv）方法。DualConv结合了3×33 \times 33×3和1×11 \times 11×1的卷积核，同时处理相同的输入特征图通道，并利用组卷积技术高效地排列卷积滤波器。DualConv可以应用于任何CNN模型，例如用于图像分类的VGG-16和ResNet-50，用于目标检测的YOLO和R-CNN，或用于语义分割的FCN。
【YOLOv10改进- 卷积Conv】RefConv：重新参数化的重聚焦卷积模块
最新发布
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
07-08 302
我们提出了重新参数化再聚焦卷积（Re-parameterized Refocusing Convolution, RefConv）作为常规卷积层的替代方案，这是一种即插即用的模块，可以在不增加推理成本的情况下提高性能。具体来说，对于一个预训练模型，RefConv对从预训练模型继承的基础卷积核应用一个可训练的再聚焦转换，以在参数之间建立连接。例如，深度卷积的RefConv可以将特定通道的卷积核参数与其他卷积核的参数关联起来，即使它们重新聚焦于模型的其他部分，而不仅仅关注于输入特征。
Group 卷积
@bangbang的博客
07-16 464
PyTorch中若想使用分组卷积，只需要在nn.Conv2d网络结构定义时指定groups即可。
group卷积
u010848594的博客
06-06 314
平常的卷积默认不带有group卷积，或者是group为1，带有group以后，对于输出tensor不再依赖完整的输入了，而只依赖所在分组的输入，这样便可以将原本的计算量压缩到原来的group分之1，但是带来的缺陷是卷积输入信息不完整了，做group相对于不做group会获取更少的信息，特征就没那么丰富了，为了弥补这个，我们可以在后续接上1*1的group=1的卷积做group间的信息交流，这样的话，原本的一个卷积的计算量假如是X(假设原本为3*3的卷积)，使用group后计算量降为X/group，接下来需要
卷积操作中的group
小幸运
03-13 2214
group参数，其意思是将对应的输入通道与输出通道数进行分组卷积处理, 默认值为1。 比如输入数据为B*Cin*H*W, 卷积核配置为 Cout 3*3 group： group=1，即我们常用的全连接的卷积，对输入的全部Cin个通道与输出的Cout通道全卷积 group=2，将输入的Cin通道分成2个（Cin/2）通道，输出的Cout通道分成2个（Cout/2）通道；第一个Cin/2通道...
【深度学习】Group Convolution分组卷积、Depthwise Convolution和Global Depthwise Convolution
chen1234520nnn的博客
08-26 1万+
目录 1. 分组卷积(Group Convolution) 1.1 分组卷积与普通卷积的区别 1.2 分组卷积的用途 2. 深度分离卷积(Depthwise Convolution) 原文链接：https://www.cnblogs.com/shine-lee/p/10243114.html 本文主要介绍减少参数量、计算量的卷积形式： Group Convolution(分组卷积) Depthwise Convolution(深度分离卷积) Global Depthwise Convolu
group convolution (分组卷积)详解
热门推荐
源仔
02-26 1万+
文章目录【普通卷积】【group convolution (分组卷积)】【深度可分离卷积】 【普通卷积】 上图为普通卷积示意图，为方便理解，图中只有一个卷积核，此时输入 输出数据为：输入feature map尺寸：W×H×CW×H×CW×H×C ，分别对应feature map的宽，高，通道数； 单个卷积核尺寸：k×k×Ck×k×Ck×k×C ，分别对应单个卷积核的宽，高，通道数； 输出feature map尺寸 ：W′×H′W'×H'W′×H′ ，输出通道数等于卷积核数量，输出的宽和高与卷积步长有关，
深度学习——卷积神经网络
01-20
卷积神经网络（CNN）是深度学习领域的重要组成部分，尤其在图像识别和处理任务中表现卓越。CNN的主要特点是利用卷积层和池化层来提取和学习图像特征，同时通过多层非线性变换实现复杂模式的识别。 1. **卷积神经...
深度学习基础--分类网络
庆志的小徒弟
03-21 3208
一、LetNet LetNet网络是CNN网络的鼻祖，定义了CNN的基本部件：卷积层、池化层全连接层等。 二、AlexNet 主要特点： 1、使用ReLU函数作为CNN的激活函数； 2、Dropout技术和数据增强技术的使用，防止模型过拟合； 3、当时计算性能满足不了网络需求，使用group conv技术； 4、基于神经科学中局部神经元活动竞争机制，提出LRN层，类似于在通道...
【YOLOv8改进 - 卷积Conv】RefConv：重新参数化的重聚焦卷积模块
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
06-28 367
我们提出了重新参数化再聚焦卷积（Re-parameterized Refocusing Convolution, RefConv）作为常规卷积层的替代方案，这是一种即插即用的模块，可以在不增加推理成本的情况下提高性能。具体来说，对于一个预训练模型，RefConv对从预训练模型继承的基础卷积核应用一个可训练的再聚焦转换，以在参数之间建立连接。例如，深度卷积的RefConv可以将特定通道的卷积核参数与其他卷积核的参数关联起来，即使它们重新聚焦于模型的其他部分，而不仅仅关注于输入特征。
tensorflow中的group conv？
Do not mess it up
09-02 6232
https://github.com/tensorflow/tensorflow/issues/3332 caffe和pytorch都有对应的native API，但是TF貌似并没有，只有depth wise conv 所以现在用TF都是tf.split 和tf.concat https://github.com/tensorflow/tensorflow/issues/3332#issuec...
卷积神经网络group群卷积以及group lasso
weixin_42071277的博客
04-09 4263
一、group（群卷积） group（群卷积）的思想最早出现于Alexnet论文：ImageNet Classification with Deep Convolutional Neural Networks，Alex之所以使用群卷积是因为受当时GTX580 GPU现存的限制，不能使用一块GPU训练网络，所以其将网络拆分为两组分别使用1个GPU训练。 如下所示为一个常规的卷积操作 ...
Group Convolution(分组卷积）
m0_37400316的博客
07-22 223
1、 Group Convolution Convolution VS Group Convolution： 2、depthwise Convolution ----待续 参考文献： https://www.cnblogs.com/shine-lee/p/10243114.html
分组卷积/群卷积（Group Convolution）
SimonChen
10-03 1303
群卷积最早出现于AlexNet中。是为了解决显存不够的问题，将网络部署在两张GTX 580显卡上训练，Alex认为group conv的方式能够增加 filter之间的对角相关性，而且能够减少训练参数，不容易过拟合，这类似于正则的效果。 https://blog.csdn.net/hhy_csdn/article/details/80030468 ...
【 group convolution (分组卷积)详解】
weixin_49117441的博客
01-23 8411
@[TOC]( group convolution (分组卷积)详解) group convolution (分组卷积)详解 1.普通卷积： 上图为普通卷积示意图，为方便理解，图中只有一个卷积核，此时输入输出数据为： 输入feature map尺寸： W×H×C ，分别对应feature map的宽，高，通道数； 单个卷积核尺寸： k×k×C ，分别对应单个卷积核的宽，高，通道数； 输出feature map尺寸 ：W’×H’ ，输出通道数等于卷积核数量，输出的宽和高与卷积步长有关，这里不关心这两个值
分组卷积：Grouped convolution
人生当苦无妨
02-06 6792
参考：A Tutorial on Filter Groups (Grouped Convolution) 分组卷积最早出现在AlexNet中，当时硬件资源有限，训练时卷积操作不能全部放在同一个GPU中运算，因此作者在2个GPU上运行，把feature maps分给这两个GPU分别进行处理，最后把这两个GPU的结果进行concatenate，作为一层的output。 直到2016年Deep Ro...
什么是分组卷积、深度可分离卷积?附上深度可分离卷积代码
weixin_43960370的博客
04-22 3050
分组卷积，g = in = out,此时每个卷积核只负责一个通道，生成的特征图之间不存在信息交换(即在通道维度不存在信息交换)1 x 1卷积，用来实现通道件的信息交换，但在空间层面上缺少信息交流。可以使用 torch.nn.Conv2d() 中的卷积组参数groups，来实现深度可分离卷积。groups 参数是用于控制输入和输出的连接的，表示要分的组数(in_channels 和out_channels 都必须能被 groups 参数整除)。
Caffe源码学习系列二----卷积层
Sunshine_in_Moon的专栏
11-30 3133
 本文转自：http://zhangliliang.com/2015/02/11/about-caffe-code-convolutional-layer/ 感谢博主！ 一开始笔者先看了卷积层的梯度传导公式，参考了这两篇： http://ufldl.stanford.edu/tutorial/supervised/ConvolutionalNeuralNetwork/http:
convolution in tensorflow (tf.nn.conv)
yusisc的博客
11-20 641
Understanding convolution in tensorflow Points should be noticed The convolution ops sweep a 2-D filter over a batch of images, applying the filter to each window of each image of the appropriate
group conv
09-17
Group Conv是一种卷积神经网络中的操作，它将输入特征矩阵分成了多个组，并对每个组应用了独立的卷积核。在Group Conv中，每个组使用独立的卷积核来进行卷积操作，然后将各个组的结果拼接在一起。这种操作可以有效地减少卷积参数的数量，从而降低计算和存储的成本。 在Group Conv中，参数量的计算方式如下：假设卷积核的高和宽都是k，输入特征矩阵的channel被分成了g组，使用了g/n个卷积核。因为划分了g个组，所以还需要乘以g。 另外，对于PW（Pointwise）卷积，它的卷积核大小为1，并且计算参数量的公式为：1 * 1 * 输入特征矩阵的深度 * 卷积核的个数 * 输入特征矩阵的高度和宽度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值