互卷积网络_IGCV1/V2/V3：全分组卷积网络，分组卷积的极致使用 | 轻量级网络

最新推荐文章于 2022-05-26 15:58:03 发布
最新推荐文章于 2022-05-26 15:58:03 发布
阅读量327 收藏
点赞数
文章标签： 互卷积网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39857480/article/details/111839166
版权
IGC系列网络通过主次分组卷积和排序操作，实现参数量和计算量的降低，但可能增加网络复杂度，影响实际运行速度。IGCV1、IGCV2、IGCV3逐步优化，引入低秩和稀疏卷积，以提升性能。
摘要由CSDN通过智能技术生成

IGC系列网络的核心在分组卷积的极致运用，将常规卷积分解成多个分组卷积，能够减少大量参数，另外互补性原则和排序操作能够在最少的参数量情况下保证分组间的信息流通。但整体而言，虽然使用IGC模块后参数量和计算量降低了，但网络结构变得更为繁琐，可能导致在真实使用时速度变慢

来源：晓飞的算法工程笔记 公众号

IGCV1

论文: Interleaved Group Convolutions for Deep Neural Networks

Introduction

Interleaved group convolution(IGC)模块包含主分组卷积和次分组卷积，分别对主分区和次分区进行特征提取，主分区通过输入特征分组获得，比如将输入特征分为

个分区，每个分区包含

维特征，而对应的次分区则分为

个分区，每个分区包含

维特征。主分组卷积负责对输入特征图进行分组特征提取，而次组卷积负责对主分组卷积的输出进行融合，为

卷积。IGC模块形式上与深度可分离卷积类似，但分组的概念贯穿整个模块，也是节省参数的关键，另外模块内补充了两个排序模块来保证channel间的信息交流。

Interleaved Group Convolutions

IGC模块如图1所示，主卷积对输入进行分组特征提取，然后将主卷积输出的特征进行隔区采样，方便后续的次卷积进行特征融合，将次卷积输出concate起来恢复为采样前的顺序后作为最后的输出。

Primary group convolutions

假设共

个主分区，每个主分区包含

维特征，主分组卷积的操作如公式1所示，

为按卷积核大小抠出来的

维特征向量，

为卷积核大小，

对应第

分区的卷积核，大小为

，

代表主分组卷积的输入。

Secondary group convolutions

将主分组卷积的输出

重排成

个次分区，每个分区包含

维特征，这样能够保证每个分区都包含来自不同主分区的特征，第

个次分区由于每个主分区的第

维特征组成：<

最低0.47元/天 解锁文章
weixin_39857480
关注
轻量级(LightWeight)卷积神经网络
程序员光剑
07-12 1142
卷积神经网络被广泛应用在图像分类、目标检测等视觉任务中，并取得了巨大的成功。然而，卷积神经网络通常需要较大的运算量和内存占用，在嵌入式设备等资源受限的环境中受到限制，因此需要进行网络压缩。是网络压缩的一种方法，旨在设计计算复杂度更低的网络结构。从的角度考虑，卷积层提取的特征存在冗余，可以设计特殊的卷积操作，减少卷积操作的冗余，从而减少计算量。从的角度，模型推理过程中存在大量乘法运算，而乘法操作(相比于加法)对于目前的硬件设备不友好，可以对乘法运算进行优化，也可以减少计算量。
『CV学习笔记』轻量化卷积神经网络MobileNet从V1到V3
AI新视界
12-08 1229
相对重量级网络而言，轻量级网络的特点是参数少、计算量小、推理时间短。更适用于存储空间和功耗受限的场景，例如移动端嵌入式设备等边缘计算设备。因此轻量级网络受到了广泛的关注，其中MobileNet可谓是其中的佼佼者。MobileNetV3经过了V1和V2前两代的积累，性能和速度都表现优异，受到学术界和工业界的追捧，无疑是轻量级网络的“抗把子“。
轻量级网络：IGCV系列V1、V2、V3
qq_39382877的博客
07-26 3164
前言 IGCV1 IGCV2 IGCV3 前言 前面在写ShuffleNet的时候提到了解决Group Conv各个组之间的信息交互的问题就提到了IGCV，今天就整理一下IGCV系列。 附上微软的视频分享：https://www.bilibili.com/video/av23295590?from=search&seid=7224169471719308503 IGCV1 论文...
IGCV1：Interleaved Group Convolutions for Deep Neural Networks
dawnyi_yang的博客
05-16 704
摘要 文章提出了一种一种简单的模块化网络结构，将其称为交错组卷积神经网络(IGCNets)。它的重点在于一个新颖的构建块：是由一对连续且相互交错的组卷积组成。这两个组卷积是互补的： 在第一个组卷积中的卷积都是空间域卷积；第二个组卷积中的卷积是逐点卷积； 第二个组卷积中同一个分组内的所有通道来自于第一个组卷积中不同分组。 这样做的优势是：和普通卷积相比，在网络参数量和计算复杂度不变的同时，使得网络变得更宽了。 论文地址：Interleaved Group Convolutions for Deep Neura
IGCV1(Interleaved Group Convolutions for Deep Neural Networks)论文解读
h__ang的博客
03-24 1711
原文链接：https://arxiv.org/abs/1707.02725 作者视频讲解链接：https://edu.csdn.net/course/play/8320/171433?s=1 Abstract 在本篇论文中，我们提出了一种简单的模块化网络结构，将其称为交错组卷积神经网络(IGCNets)。它的重点在于一个新颖的构建块：是由一对连续且相互交错的组卷积组成。这两个组卷积是互补的： 在...
IGCV2(Interleaved Structured Sparse Convolutional Neural Networks)论文解读
h__ang的博客
04-03 1280
Abstract 在本篇论文中，我们继续研究如何设计高效卷积神经网络结构来消除卷积核的冗余。目前来说，消除卷积核中的冗余有以下几种方法： 减少卷积操作； 低精度卷积核，即做一些量化，从浮点到定点转化； 低秩卷积核，即减少卷积核的个数或者通道数； 低秩卷积核的组合，，担心单纯的减少卷积核的个数或者通道数会对性能造成影响，所以采用多个低秩卷积核组合在一起达到原来的密集卷积核的作用； 稀疏卷积核，分为...
IGCNet
fnoi2014xtx的博客
06-15 393
Paper : Interleaved Group Convolutions for Deep Neural Networks Code : official 摘要 组卷积操作在AlexNet中被提出，相比普通的卷积可以有效的减少参数，但是组卷积的结构限制了组与组之间相互独立，IGCNet提出使用两步组卷积来代替普通卷积，达到减少参数的目的。 网络结构 IGCNet的核心是交错组卷积结构，交错组卷积包含两个组卷积，结构如下 第一层卷积(Primary Group Conv)用来处理空间相关信息，采用空.
CNN轻量级卷积神经网络MobileNetv3的图像分类源码、pytorch框架实现，python编程语言
最新发布
07-27
MobileNet系列是深度学习领域中一种轻量级的卷积神经网络（CNN）架构，主要应用于移动设备和嵌入式系统中的图像识别任务。MobileNet的设计理念在于在保持较高准确性的前提下，尽可能减少计算资源的消耗，如参数数量...
轻量级网络IGCNets--对组卷积的运用
panghuzhenbang的博客
05-26 872
IGCNet v1 论文地址：2017.07 《Interleaved Group Convolutions for Deep Neural Networks》 IGC（Interleaved Group Convolutions）：交错分组卷积 前言 随着卷积神经网络的不断发展，越来越多的网络结构不断出现，例如MobileNet、shuffleNet等，这些网络结构都是为了进一步提升模型的效果； 那么如何提高网络分类的精度呢？ 提升网络的深度与宽度，即增加网络层数、增加输入输出的特征层通道数
IGC（Interleaved Group Convolutions） 【IGC代替卷积，获得更小、更快、更准的深度学习模型IGCV】
王爷的CSDN
06-28 4910
下面是微软研究院张婷研究员的报告PPT节选。视频：https://www.bilibili.com/video/av23295590?from=search&amp;seid=7224169471719308503深度学习被引起关注是在2012年用神经网络训练的一个分类模型在ImagNet上取得了第一名，而且其分类精度比第二名高出10多个点，当时所使用的模型为AlexNet，现在看来其为一个比较简...
IGC系列：全分组卷积网络，分组卷积极致使用 | 轻量级网络
晓飞的算法工程笔记
05-27 689
IGC系列网络的核心在分组卷积的极致运用，将常规卷积分解成多个分组卷积，能够减少大量参数，另外互补性原则和排序操作能够在最少的参数量情况下保证分组间的信息流通。但整体而言，虽然使用IGC模块后参数量和计算量降低了，但网络结构变得更为繁琐，可能导致在真实使用时速度变慢   来源：晓飞的算法工程笔记 公众号 IGCV1 论文: Interleaved Group Convolutions for Deep Neural Networks 论文地址：https://arxiv.org/abs/1707..
轻量级网络：MobileNet系列V1、V2、V3
qq_39382877的博客
07-23 6165
前言 MobileNetV1 MobileNetV2 MobileNetV3 前言 在公司实习正好接触的是移动端的相关业务，于是对于轻量级网络也有了一定的了解，就先来总结一下MobileNet系列。 MobileNetV1 论文：https://arxiv.org/abs/1704.04861?context=cs TensorFlow实现：https://github.com/Lin...
论文学习笔记（四）ESPNet: Efficient Spatial Pyramid of Dilated Convolutions for Semantic Segmentation
热门推荐
Custom自定义
01-10 1万+
『写在前面』 2018上半年出品的语义分割轻量级网络。 论文出处：ECCV 2018 作者机构：Sachin Mehta等，University of Washington 原文链接：https://arxiv.org/abs/1803.06815v2 相关repo：https://github.com/sacmehta/ESPNet 目录 摘要 1 介绍 2 相关工作 关...
卷积神经网络的网络结构——CondenseNet
小花生的博客
06-18 2411
《CondenseNet: An Efficient DenseNet using Learned Group Convolutions 》 2018，Gao Huang et al，CondenseNet。 CondenseNet是作者在DenseNet基础上进行改进，集合了分组卷积、稠密连接、剪枝等。 实验证明，CondenseNet比前沿的MobileNet和ShuffleNet性...
ShuffleNet_v2模型解读
h__ang的博客
03-17 4509
论文链接：https://pan.baidu.com/s/1so7aD3hLKO-0PB8h4HWliw Abstract 目前，神经网络结构大多数都是以计算复杂度(FLOPS)作为间接度量标准来指导设计的，然而，实际上一个网络模型的训练或推理过程Flops等计算复杂度也只是其影响其整体效率的一个因素，其它像内存读写/外部数据IO操作、平台特性等都会对整体的实际运行效率产生影响。为实际生产考虑，我...
论文笔记-IGCV3：Interleaved Low-Rank Group Convolutions for Efficient Deep Neural Networks
Liven_Zhu的博客
07-11 1926
介绍 在这篇论文中，作者同时使用低秩核和稀疏核（low-rank and sparse kernel）来组成一个密集kernel。基于ICGV2的基础上，作者提出了ICGV3。 近几年，卷积网络在计算机视觉上的有效性已经得到了验证。目前卷积网络的发展主要有两个方向：一是朝着更深的方向发展，在网络各层之间增加skip connection，使得训练更深的网络成为可能；二是简化卷积网络的结构，消除...
Deep Compression/Acceleration（模型压缩加速总结）
Mars_WH的专栏
12-07 3317
模型压缩论文目录结构`structure`量化`quantization`Binarized Neural Networks: Training Deep Neural Networks with Weights and Activations Constrained to +1 or -1FINN: A Framework for Fast, Scalable Binarized Neural ...
轻量级神经网络：ShuffleNetV2解读
lv6572的博客
03-16 1702
其实，我个人是比较偏向于工程师风格，工程导向，也许是和本科读的机械专业有关吧。这就让我养成了一个习惯：什么东西我都想知道是什么？ 为什么？ 怎么用？ 最近一直在思考一个问题，大规模的神经网络和小规模的神经的网络的之间有什么区别？ 为什么有了大规模神经网络的精度后还要去研究小规模的神经网络呢？ 当然是要恰饭的嘛！ 你个大网络虽然浓眉大眼精度高，但我要怎么用你？我为了用你我好要给你准备很多的存储空...
"MobileNet系列：轻量化网络在边缘计算应用的实时性与隐私安全
MobileNet 系列是由 Google 团队在 2017 年提出的一系列专注于移动端或者嵌入式设备中的轻量级 CNN 网络。MobileNet 网络相比传统卷积神经网络，在准确率小幅降低的前提下大大减少模型参数与运算量。例如，相比 VGG...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值