ResNeXt - 组卷积Group Conv

已于 2024-01-18 10:29:30 修改
阅读量933 收藏 18
点赞数 23
分类专栏： AI 文章标签： cnn ai 人工智能 深度学习 神经网络
于 2024-01-18 10:19:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45682053/article/details/135667371
版权
本文介绍了ResNeXt，一种基于ResNet的深度学习网络升级，通过使用GroupConvolution来减少参数量。文章详细讨论了不同分组方式对参数的影响，并展示了ResNeXt-50的结构。作者证明了三种block在数学计算上的等价性。
摘要由CSDN通过智能技术生成

论文：Aggregated Residual Transformations for Deep Neural Networks

网址：https://arxiv.org/abs/1611.05431

ResNeXt是ResNet网络一个小幅的升级，更新了block。

在这里插入图片描述

Group Convolution（组卷积）

不分组：

在这里插入图片描述

参数量： k × k × c 1 × c 2 k\times k\times c_1\times c_2 k×k×c1​×c2​

分两组：

在这里插入图片描述

参数量： k × k × c 1 2 × c 2 2 × 2 k\times k\times \frac{c_1}{2}\times \frac{c_2}{2}\times 2 k×k×2c1​​×2c2​​×2

分四组：

在这里插入图片描述

参数量： k × k × c 1 4 × c 2 4 × 4 k\times k\times \frac{c_1}{4}\times \frac{c_2}{4}\times 4 k×k×4c1​​×4c2​​×4

当 g o u p s = C i n , n = C i n goups = C_{in},n=C_{in} goups=Cin​,n=Cin​，此时就是DW Conv。

在这里插入图片描述

作者给出了上面三种block，它们在数学计算上完全等价。

ResNeXt-50网络结构

在这里插入图片描述

mango1698
关注
专栏目录
Group conv vs. Depthwise separable conv
qq_50489856的博客
04-22 3048
本王有话说：这俩属于是做轻量化绕不开的经典工作，盘踞武林好多年，我们的目标学会并企图超越它。 分组卷积（Group conv） paper 原理 分组卷积,即ResNeXt的亮点,受Inception和AlexNet的启发产生。Inception中提到,对于卷积来说,卷积核可以看做一个三维滤波器:通道维+空间维(特指特征图的W和H),常规的卷积操作其实就是实现通道相关性和空间相关性的联合映射。Inception提出假设: 卷积层通道间的相关性和空间相关性是可以退耦合的,将它们分开映射,能达到更好的效果。具体
ResNeXt
LoveKKarlie_的博客
07-03 428
Aggregated Residual Transformations for Deep Neural Networks 文章地址https://arxiv.org/abs/1611.05431 代码地址https://github.com/miraclewkf/ResNeXt-PyTorch 采用VGG/ResNet的重复层策略，同时以简单的、可扩展的方式利用split-transform-merge策略。但是扩展性强。每个被聚合的拓扑结构都是一样的(这也是和 Inception 的差别，减轻设计负担)
dgconv.pytorch:动态分组卷积和可分组的ConvNet的PyTorch实施与预训练的G-ResNeXt模型
04-25
dgconv.pytorch 通过可分组在可中动态分组卷积和可分组卷积网络的PyTorch实现。 Kronecker产品用于有效且规则地构造稀疏矩阵。 离散优化通过“直通估算器”技巧解决。 以端到端的可区分方式自动学习组数。 ImageNet上的ResNeXt-50 DGConv用作原始ResNeXt中深度可分离卷积的直接替代品，以构建G-ResNeXt-50 / 101网络体系结构。 这是它们性能比较的一些结果。 建筑学 LR衰减策略 前1名/前5名准确性 余弦（120个纪元） 78.198 / 93.916 余弦（120个纪元） 78.592 / 94.106 引文 @InProceedings { Zhang_2019_ICCV , author = { Zhang, Zhaoyang and Li, Jingyu and Shao, Wenqi and Peng
ResNeXt 组卷积
weixin_45104951的博客
04-05 258
普通卷积 每个卷积核通道数与输入特征图通道数C_in一致，卷积核个数与输出特征图通道数C_out一致 组卷积： 参数：k*k*c_in*c_out 使用组卷积：(k*k*c_in/g*c_out/g)*g= k*k*c_in*c_out /g ​​​​​​​ ​​​​​​​ 为什么group数设置为32？消融实验证明，group=32效果最好。block>=3时，构建有意义的block。浅层block意义不大。 ...
ResNeXt与分组卷积
lt1103725556的博客
03-20 3159
ResNeXt两点： （1）Inception v4的所有分支结构统一 （2）inception block前后增加shortcut分支 分支结构统一与shortcut 左边是Inception结构，不同分支用不同的结构。 右边是ResNeXt的Block，每个分支都是1x1,3x3,1x1的BottleNeck结构，所以叫统一分支。 （1）为什么要统一分支？因为左边的结构是人为设计的，所以想用稍微自然一点的结构。（有ablation study吗？） 增加shortcut发现效果更好 具体实现 看右边的
【轻量型卷积网络】ResNeXt网络解析
Danger的博客
03-29 858
【轻量型卷积网络】ResNeXt网络解析
卷积神经网络——ResNeXt
zhzhx0318的专栏
09-15 4984
网络结构提出来 cardinality 的概念，在上图左右有相同的参数个数，其中左边是 ResNet 的一个区块，右边的 ResNeXt 中每个分支一模一样，分支的个数就是 cardinality。所谓 split-transform-merge 是指通过在大卷积核层两侧加入 1x1 的网络层，控制核个数，减少参数个数的方式。而 repeat layer 则是指重复相同的几层，前提条件是这几层的输出
DO-Conv无痛涨点：使用over-parameterized卷积层提高CNN性能
我爱计算机视觉
04-01 2339
DO-Conv: Depthwise Over-parameterized Convolutional Layer论文：https://arxiv.org/pdf/2006.12030.p...
Python-ResNeXt网络模型Keras20的实现
08-11
ResNeXt则是ResNet的进一步发展，其核心思想是“分组卷积”（Group Convolution）。相比于ResNet，ResNeXt在每个残差块中并行执行多个独立的卷积操作，然后将结果合并，这提高了模型的表示能力，同时降低了计算...
ResNeXt介绍及keras实现
qq_43258953的博客
11-11 2782
一,ResneXt与 ResNet 相比，相同的参数个数，结果更好：一个 101 层的 ResNeXt 网络，和 200 层的 ResNet 准确度差不多，但是计算量只有后者的一半。 二,ResneXt与 ResNet 网络block结构比较，大的结构类似，都采用了残差恒等，ResneXt增加了cardinality维度，默认参数是32。此处借鉴了 GoogLeNet 的 split-trans...
卷积神经网络学习路线十四 | CVPR 2017 ResNeXt（ResNet进化版）
I good vegetable a!
01-12 579
前言 传统的卷积神经网络在提高性能时都是加深和加宽网络，但随着超参数数量的增加(如通道数，卷积核大小等)网络变得非常难调，且网络的计算开销和网络结构设计也变得越来越难，这一点我在介绍ResNet和DenseNet大型模型的时候已经提到过了。此外这些大模型针对性比较强，即在特定数据集上表现好的网络放到新数据集上就需要修改很多的参数才能工作良好，因此可扩展性比较一般。针对上述问题，Saining Xi...
CNN卷积神经网络之ResNeXt
qq_41917697的博客
04-20 1120
CNN卷积神经网络之ResNeXt前言 前言 《Aggregated Residual Transformations for Deep Neural Networks》 论文地址：https://arxiv.org/abs/1611.05431 2017CVPR上的论文，ResNeXt是ResNet和Inception的结合体，因此你会觉得InceptionV4有些相似，但却更简洁。 ...
ResNext论文笔记，分组卷积的组数，简化模型
qq_52038588的博客
11-24 670
ResNext论文笔记，分组卷积的组数，简化模型
ResNeXt 论文笔记
黑暗星球
06-25 5669
摘要 提出了 ResNeXt 架构，该架构依然采用堆叠构建块的方式构建。构建块内部采用分支结构。分支的数目成为 “基数”，作者认为，增加分支的数量比增加深度、宽度更高效。ResNeXt 在 ILSVRC 2016 分类比赛中获第二名。作者在 ImageNet-5K分类、COCO探测数据集上进行了实验，性能超过了 ResNet。代码和模型见[1]。 1. 简介 VGG、ResNet 采用了堆叠...
分组卷积（图文并茂）
weixin_45074568的博客
01-12 6477
分组卷积 Group convolution是将输入层的不同特征图进行分组，然后采用不同的卷积核再对各个组进行卷积，这样会降低卷积的计算量。因为一般的卷积都是在所有的输入特征图上做卷积，可以说是全通道卷积，这是一种通道密集连接方式（channel dense connection），而group convolution相比则是一种通道稀疏连接方式（channel sparse connection）。 1、分组卷积的矛盾——计算量 使用group convolution的网络有很多，如Xception，Mo
学习笔记--目标分类8 ResNeXt
weixin_42630613的博客
08-27 639
文章目录1、保存设置 1、保存设置 def zipdir(path, ziph): files = os.listdir(path) for file in files: if file.endswith(".py") or file.endswith("cfg"): ziph.write(os.path.join(path, file)) if file.endswith("cfg"): os.
ResNet的改进系列：ResNext和Res2Net
文森特的博客
06-12 9172
ResNext: paper:https://arxiv.org/abs/1611.05431 code:https://github.com/facebookresearch/ResNeXt Res2Net: paper: https://arxiv.org/pdf/1904.01169.pdf code: https://mmcheng.net/res2net/ 这次和大家分享两篇ResNet改进系列的文章，一篇是2017年发表在CVPR上面的ResNext，其采用“split-transform-me
深度学习——分类之ResNeXt
邹小驴
06-27 1632
ResNeXt然后是ResNeXt具体的网络结构。类似ResNet，作者选择了很简单的基本结构，每一组C个不同的分支都进行相同的简单变换，下面是ResNeXt-50（32x4d）的配置清单，32指进入网络的第一个ResNeXt基本结构的分组数量C（即基数）为32，4d表示depth即每一个分组的通道数为4（所以第一个基本结构输入通道数为128）：可以看到ResNet-50和ResNeXt-50（3...
ResNeXt算法详解
热门推荐
AI之路
05-11 9万+
论文：Aggregated Residual Transformations for Deep Neural Networks 论文链接：https://arxiv.org/abs/1611.05431 PyTorch代码：https://github.com/miraclewkf/ResNeXt-PyTorch 这是一篇发表在2017CVPR上的论文，介绍了ResNet网络的升级版
ResNeXt-50
最新发布
08-22
ResNeXt-50是深度学习领域中的一个卷积神经网络架构，主要用于图像识别和分类任务。它是ResNet网络架构的一种变体，引入了“分组卷积”（Grouped Convolutions）的概念，并且在保持了ResNet的残差学习框架的同时，通过这种方式进一步增强了网络的表达能力。 ResNeXt的核心思想是将传统的卷积操作分解为分组卷积，并在每个分组上进行并行的卷积操作，最后将这些分组的输出组合起来。这种结构类似Inception网络中的多尺度特征处理，但通过分组的方式简化了结构，并且易于扩展。ResNeXt-50中的“50”指的是网络中包含的层数，它比最初的ResNet架构更深，因此拥有更强的特征提取能力。 ResNeXt-50网络通常包含一系列的块（block），每个块由多个分组卷积层组成，每个分组卷积层后面通常跟着一个ReLU激活函数。这样的块结构可以在网络中重复出现，以增加网络的深度和宽度，从而提高性能。ResNeXt-50网络通常在训练之前预设一个固定的分组数（比如32），这意味着输入通道会被划分为32组，每组通过独立的卷积核进行处理。 ResNeXt-50模型在图像识别任务的多个基准测试中都取得了非常好的成绩，并且由于其结构的高效性，在实际应用中也得到了广泛使用。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

mango1698

你的鼓励是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值