互卷积网络_IGCV1/V2/V3：全分组卷积网络，分组卷积的极致使用 | 轻量级网络

最新推荐文章于 2022-05-26 15:58:03 发布
最新推荐文章于 2022-05-26 15:58:03 发布
阅读量329 收藏
点赞数
文章标签： 互卷积网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39857480/article/details/111839166
版权
IGC系列网络通过主次分组卷积和排序操作，实现参数量和计算量的降低，但可能增加网络复杂度，影响实际运行速度。IGCV1、IGCV2、IGCV3逐步优化，引入低秩和稀疏卷积，以提升性能。
摘要由CSDN通过智能技术生成

IGC系列网络的核心在分组卷积的极致运用，将常规卷积分解成多个分组卷积，能够减少大量参数，另外互补性原则和排序操作能够在最少的参数量情况下保证分组间的信息流通。但整体而言，虽然使用IGC模块后参数量和计算量降低了，但网络结构变得更为繁琐，可能导致在真实使用时速度变慢

来源：晓飞的算法工程笔记 公众号

IGCV1

论文: Interleaved Group Convolutions for Deep Neural Networks

Introduction

Interleaved group convolution(IGC)模块包含主分组卷积和次分组卷积，分别对主分区和次分区进行特征提取，主分区通过输入特征分组获得，比如将输入特征分为

个分区，每个分区包含

维特征，而对应的次分区则分为

个分区，每个分区包含

维特征。主分组卷积负责对输入特征图进行分组特征提取，而次组卷积负责对主分组卷积的输出进行融合，为

卷积。IGC模块形式上与深度可分离卷积类似，但分组的概念贯穿整个模块，也是节省参数的关键，另外模块内补充了两个排序模块来保证channel间的信息交流。

Interleaved Group Convolutions

IGC模块如图1所示，主卷积对输入进行分组特征提取，然后将主卷积输出的特征进行隔区采样，方便后续的次卷积进行特征融合，将次卷积输出concate起来恢复为采样前的顺序后作为最后的输出。

Primary group convolutions

假设共

个主分区，每个主分区包含

维特征，主分组卷积的操作如公式1所示，

为按卷积核大小抠出来的

维特征向量，

为卷积核大小，

对应第

分区的卷积核，大小为

，

代表主分组卷积的输入。

Secondary group convolutions

将主分组卷积的输出

重排成

个次分区，每个分区包含

维特征，这样能够保证每个分区都包含来自不同主分区的特征，第

个次分区由于每个主分区的第

维特征组成：<

最低0.47元/天 解锁文章
weixin_39857480
关注
轻量级(LightWeight)卷积神经网络
程序员光剑
07-12 1151
卷积神经网络被广泛应用在图像分类、目标检测等视觉任务中，并取得了巨大的成功。然而，卷积神经网络通常需要较大的运算量和内存占用，在嵌入式设备等资源受限的环境中受到限制，因此需要进行网络压缩。是网络压缩的一种方法，旨在设计计算复杂度更低的网络结构。从的角度考虑，卷积层提取的特征存在冗余，可以设计特殊的卷积操作，减少卷积操作的冗余，从而减少计算量。从的角度，模型推理过程中存在大量乘法运算，而乘法操作(相比于加法)对于目前的硬件设备不友好，可以对乘法运算进行优化，也可以减少计算量。
『CV学习笔记』轻量化卷积神经网络MobileNet从V1到V3
AI新视界
12-08 1232
相对重量级网络而言，轻量级网络的特点是参数少、计算量小、推理时间短。更适用于存储空间和功耗受限的场景，例如移动端嵌入式设备等边缘计算设备。因此轻量级网络受到了广泛的关注，其中MobileNet可谓是其中的佼佼者。MobileNetV3经过了V1和V2前两代的积累，性能和速度都表现优异，受到学术界和工业界的追捧，无疑是轻量级网络的“抗把子“。
轻量级网络：IGCV系列V1、V2、V3
qq_39382877的博客
07-26 3165
前言 IGCV1 IGCV2 IGCV3 前言 前面在写ShuffleNet的时候提到了解决Group Conv各个组之间的信息交互的问题就提到了IGCV，今天就整理一下IGCV系列。 附上微软的视频分享：https://www.bilibili.com/video/av23295590?from=search&seid=7224169471719308503 IGCV1 论文...
IGCV1：Interleaved Group Convolutions for Deep Neural Networks
dawnyi_yang的博客
05-16 706
摘要 文章提出了一种一种简单的模块化网络结构，将其称为交错组卷积神经网络(IGCNets)。它的重点在于一个新颖的构建块：是由一对连续且相互交错的组卷积组成。这两个组卷积是互补的： 在第一个组卷积中的卷积都是空间域卷积；第二个组卷积中的卷积是逐点卷积； 第二个组卷积中同一个分组内的所有通道来自于第一个组卷积中不同分组。 这样做的优势是：和普通卷积相比，在网络参数量和计算复杂度不变的同时，使得网络变得更宽了。 论文地址：Interleaved Group Convolutions for Deep Neura
IGCV1(Interleaved Group Convolutions for Deep Neural Networks)论文解读
h__ang的博客
03-24 1712
原文链接：https://arxiv.org/abs/1707.02725 作者视频讲解链接：https://edu.csdn.net/course/play/8320/171433?s=1 Abstract 在本篇论文中，我们提出了一种简单的模块化网络结构，将其称为交错组卷积神经网络(IGCNets)。它的重点在于一个新颖的构建块：是由一对连续且相互交错的组卷积组成。这两个组卷积是互补的： 在...
IGCV2(Interleaved Structured Sparse Convolutional Neural Networks)论文解读
h__ang的博客
04-03 1281
Abstract 在本篇论文中，我们继续研究如何设计高效卷积神经网络结构来消除卷积核的冗余。目前来说，消除卷积核中的冗余有以下几种方法： 减少卷积操作； 低精度卷积核，即做一些量化，从浮点到定点转化； 低秩卷积核，即减少卷积核的个数或者通道数； 低秩卷积核的组合，，担心单纯的减少卷积核的个数或者通道数会对性能造成影响，所以采用多个低秩卷积核组合在一起达到原来的密集卷积核的作用； 稀疏卷积核，分为...
轻量级网络IGCNets--对组卷积的运用
panghuzhenbang的博客
05-26 875
IGCNet v1 论文地址：2017.07 《Interleaved Group Convolutions for Deep Neural Networks》 IGC（Interleaved Group Convolutions）：交错分组卷积 前言 随着卷积神经网络的不断发展，越来越多的网络结构不断出现，例如MobileNet、shuffleNet等，这些网络结构都是为了进一步提升模型的效果； 那么如何提高网络分类的精度呢？ 提升网络的深度与宽度，即增加网络层数、增加输入输出的特征层通道数
CNN轻量级卷积神经网络MobileNetv3的图像分类源码、pytorch框架实现，python编程语言
最新发布
07-27
MobileNet系列是深度学习领域中一种轻量级的卷积神经网络（CNN）架构，主要应用于移动设备和嵌入式系统中的图像识别任务。MobileNet的设计理念在于在保持较高准确性的前提下，尽可能减少计算资源的消耗，如参数数量...
IGCV3-pytorch:pytorch重新实现IGCV3
05-11
MobileNet-V2和IGCV3 IGCV3引入了Google MobileNet-V2和IGCV3的实现。 链接到原始文章：，IGCV3：高效深层神经网络的交错低秩群卷积。 孙可，李明杰，刘东和王京东。 arXiv预印本 （2017） 该实现方式是常见的深度学习软件体系结构的示例。 它很简单，并且设计成非常模块化的。 添加了培训和可视化所需的所有组件。 仅在Cifar10和Cifar100上测试过！！！！ 用法 该项目使用Python 3和PyTorch 0.3.1 主要依赖 pytorch 0.3.1 numpy tqdm easydict matplotlib tensorboardX 安装依赖项： pip install -r requirements.txt 训练与测试 准备数据，然后创建一个数据加载器类，例如cifar10data.py和cifar100data
mobilenetv3-yolov3 预训练模型 4 class
05-11
https://github.com/tanluren/mobilenetv3-yolov3 的训练模型，large版的，4class
IGC系列：全分组卷积网络，分组卷积极致使用 | 轻量级网络
晓飞的算法工程笔记
05-27 691
IGC系列网络的核心在分组卷积的极致运用，将常规卷积分解成多个分组卷积，能够减少大量参数，另外互补性原则和排序操作能够在最少的参数量情况下保证分组间的信息流通。但整体而言，虽然使用IGC模块后参数量和计算量降低了，但网络结构变得更为繁琐，可能导致在真实使用时速度变慢   来源：晓飞的算法工程笔记 公众号 IGCV1 论文: Interleaved Group Convolutions for Deep Neural Networks 论文地址：https://arxiv.org/abs/1707..
CNN的稀疏结构分析-CVPR2018
wishchinYang的专栏
07-05 4367
文章地址：CVPR2018高效小网络探秘...CVPR2018高效小网络探秘II...本文介绍、梳理和对比高效小网络，包括早期的经典模型SqueezeNet, MobileNet(V1), 和CVPR 2018最新模型ShuffleNet, IGCV2, MobileNetV2, 探究短小精悍的秘密，学习设计理念和技术，回答以下两个问题：题图是ImageNet上的top-1准确率 vs 理论计算量...
深度学习之群卷积（Group Convolution）
热门推荐
hhy_csdn的博客
04-21 3万+
最近在看MSRA的王井东研究员的《Interleaved Group Convolutions for Deep Neural Networks》。论文中多次提到群卷积这个概念，所以特地学习了一下群卷积。 群卷积最早出现于AlexNet中。是为了解决显存不够的问题，将网络部署在两张GTX 580显卡上训练，Alex认为group conv的方式能够增加 filter之间的对角相关性，而且能够减少...
Vivado HLS(High-level Synthesis)笔记一：HLS基本流程
h__ang的博客
05-10 1万+
前言 实验室项目需要，需要将在服务器段跑出的网络参数配置到FPGA上，一种方法是直接利用verilog或者vhdl直接去写一个网络的前向传播模型，另一种就是用 C/C++ 来描述网络的前向传播模型，然后利用Vivado的HLS将其转化为硬件描述语言——verilog或者vhdl。第一种方法资源利用率高，但需要考虑时序和并行性（硬件语言设计的两个重要因素），这一点比较困难；第二种方法相对高效且容易一...
Interleaved Group Convolutions
AnnChou的博客
10-14 692
交错组卷积（Interleaved Group Convolutions） 定义 组卷积：一种将输入通道划分成几个分区并在每个分区上分别执行常规的卷积的方法。 交错组卷积：包括两个组卷积，初级组卷积（ primary group convolution）和次级组卷积（ secondary group convolution）。 初级组卷积 设L为初级组卷积的分区数，称为初级分区（primary ...
ShuffleNet v2算法笔记
AI之路
07-31 3万+
论文：ShuffleNet V2: Practical Guidelines for Ecient CNN Architecture Design 论文链接：https://pan.baidu.com/s/1so7aD3hLKO-0PB8h4HWliw 这篇是ECCV2018关于模型加速和压缩的文章，是之前ShuffleNet的升级版。这篇文章的观点和实验都比较新颖，看完还是有不少收获的，特来...
Keras YOLO v3代码详解
哟哟哟哟哟哟
04-14 590
Keras YOLO v3代码详解（一）：darknet53网络结构分析+Netron工具 Keras YOLOv3代码详解（二）：目标检测原理解析 Keras YOLOv3代码详解（三）：目标检测的流程图和源代码+中文注释 ...
深度学习_卷积神经网络_分组卷积
欢迎大家关注我
11-04 1788
分组卷积介绍 分组卷积（Group Convolution）最早出现在AlexNet网络中，分组卷积被用来切分网络，使其能在2个GPU上并行运行。 接下来我们看下面的图来分析分组卷积和普通卷积的区别： 普通卷积进行运算的时候，如果输入feature map尺寸是C×H×WC\times H \times WC×H×W，卷积核有N个，那么输出的feature map与卷积核的数量相同也是N个，每个卷积核的尺寸为C×K×KC\times K \times KC×K×K，N个卷积核的总参数量为N×C×K×KN
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值