Paper Reading: ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices

最新推荐文章于 2022-09-11 16:41:56 发布
最新推荐文章于 2022-09-11 16:41:56 发布
阅读量191 收藏
点赞数
分类专栏： DeepLearning computer vision Model compression
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42364203/article/details/107719785
版权

ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices（arXiv:1707.01083v2）

Motivation

专为计算能力非常有限（例如10-150 MFLOP）的移动设备设计的模型，且弥补了之前Group convolution的缺点

Architecture

  • Channel Shuffle for Group Convolutions

    假设卷积层具有g组，其输出具有g×n个通道； 首先将输出通道的尺寸调整为（g，n），进行转置，然后再变平，作为下一层的输入。这样做的好处是解决了Group convolution阻止通道组之间的信息流传递的问题

在这里插入图片描述

  • ShuffleNet Unit
    上下两个红色部分的11卷积替换为11的分组卷积，分组g一般不会很大，论文中的几个值分别是1，2，3，4，8。当g=1时，ShuffleNet v1退化为Xception。 g的值确保能够被通道数整除，保证reshape操作的有效执行。
    在第一个 11卷积之后添加一个Channel Shuffle操作。
    如图3.©中需要降采样的情况，左侧shortcut部分使用的是步长为2的 3    3平均池化，右侧使用的是步长为2的 33的Depthwise卷积。
    去掉了3    3卷积之后的ReLU激活，目的是为了减少ReLU激活造成的信息损耗，

在这里插入图片描述

Experiments

  • Ablation Study

    证明了shuffle模块的有效性
    在这里插入图片描述

  • classification
    在这里插入图片描述

yzhang_1
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices的理解
I AM BACK
07-14 9008
前沿 加速方法 Channel Shuffle for Group Convolutions ShuffleNet单元 网络结构 实验对比 Github实现前沿随着近几年AI算法爆发式的发展，越来越多的运用场景出现了。为了让更多的算法落地，如何做移动端的模型加速和模型压缩成了近期的一个热点。比如前一段做参数量化的BinaryNet、Google出的GoogleNet，到现在Face++出的Shuff
An Extremely Efficient Convolutional Neural Network for Mobile Devices
12-03
We introduce an extremely computation-efficient CNN architecture named ShuffleNet, which is designed specially for mobile devices with very limited computing power (e.g., 10-150 MFLOPs). The new ...
ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices
seniusen的博客
12-16 388
1. 摘要 作者介绍了一种计算非常高效的 CNN 结构称之为 ShuffleNet，它是专门为计算资源非常有限的移动设备设计的。 这种新的结构主要用到了两种操作：分组点卷积（pointwise group convolution ）和通道打乱（channel shuffle），这可以极大降低计算代价同时保持模型的准确率。 2. 介绍和相关工作 经典的 Xception 和 ResNeXt ...
【ShuffleNet】《ShuffleNet：An Extremely Efficient Convolutional Neural Network for Mobile Devices》
bryant_meng
01-26 893
arXiv-2017 文章目录1 Background and Motivation2 Advantages3 Innovations4 Related wrok5 Method5.1 Channel Shuffle for Group Convolutions5.2 ShuffleNet Unit5.3 Network Architecture6 Experiments6.1 Ablati...
DAILY PAPER 003 — DialogueGCN: A Graph Convolutional Neural Network for ERC
01-06
DialogueGCN: A Graph Convolutional Neural Network for Emotion Recognition in Conversation AUTHOR(S): Deepanway Ghosal:目前是新加坡科技设计大学ISTD(Information Systems Technology and Design)博士生,师从...
模型压缩论文解读1：（MobileNets解读）Efficient Convolutional Neural Networks for Mobile ...-附件资源
03-05
模型压缩论文解读1：（MobileNets解读）Efficient Convolutional Neural Networks for Mobile ...-附件资源
【论文学习】ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices
斯丢劈德的博客
03-02 2117
原文链接：https://arxiv.org/abs/1707.01083 1. Abstract 作者介绍了一种运算极其高效的CNN架构，ShuffleNet。ShuffleNet主要应用在计算能力有限的移动设备上（如10-150MFLOPs）。ShuffleNet主要采用两种新的操作：逐点组卷积（pointwise group convolution）和通道重组（channel shu...
《ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices》
胖胖大海的博客
07-18 298
核心思想： 本论文的核心关注点在于卷积神经网络中的1x1卷积模块，作者指出在XCeption和ResNetXt等网络模型中，虽然采用了深度可分离卷积来降低参数量和计算量，但是这样又引入了大量的1x1标准卷积操作，导致的结果就是网络模型中存在大量的1x1卷积操作，1x1卷积的参数量和计算量占据了绝对的大头。下图是MobileNetV1网络使用深度可分离卷积之后的参数量和计算量统计，1x1卷积无论在参数量和计算量上都占据绝对大头： 核心方法： 所以本论文将1x1卷积作为重点关照对象，在深度可分离卷
【论文阅读】ShuffleNet——ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices
qq_41488595的博客
03-04 3716
ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices 文章中提出了一个非常有效的Architecture——ShuffleNet，主要使用两种操作，分组PW卷积和通道重排，在保证准确率的情况下降低了计算代价 之前提出的模型，Xception和ResNeXt因为其中大量的Pw操作使得计算代价挺高，无法实现小型模型
ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices--Xiangyu Zhang
xu.hyj
09-11 1264
要解决的问题：深度可分离卷积等使用1x1卷积的方法能大大降低计算量，但是1x1卷积如下图左，也需要大量的计算，而且一般会大量使用到1x1卷积，所以如果能改善1x1卷积的计算量问题，就可以进一步提高轻量化。 解决方式：对于1x1卷积使用分组卷积实现，如上图右所示，这样就能够大大降低计算量。但是这也有一个缺点，就是分组后只能在组内卷积交流，比如红绿黄三个分组，组间没有信息交流，这回降低网络表征能力。所以本文提出一个新的操作通道混洗（Channel Shuffle）：将每个组再次分组并分别
ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices （翻译）
myl1992的专栏
04-11 921
ShuffleNet：一种用于移动设备的高效卷积神经网络 Xiangyu Zhang ∗ Xinyu Zhou ∗ Mengxiao Lin Jian Sun Megvii Inc (Face++) { zhangxiangyu,zxy,linmengxiao,sunjian } @megvii.com 摘要 我们介绍了一种计算效率极高的CNN体系结构，名为ShuffleNet，它专门为计算能力非常有限的移动设备（例如10-150 MFLOPs）设计。新的体系结构利用了两种新的操作，逐点组卷积和信道shu
ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices 论文笔记
Tianchao龙虾
07-14 173
ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices 论文链接： https://arxiv.org/abs/1707.01083 一、 Problem Statement 提出一个适用于移动设备的backbone,shufflnet。 二、 Direction 提出了两个操作： pointwise group convolution channel shuffle 三、 Method 1.
ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices论文学习
calvinpaean的博客
07-02 278
Abstract 作者在本文中提出了一个极其高效的CNN结构，叫做 ShuffleNet，它特别为算力有限的移动端设备设计（比如10−150MFLOPs10-150MFLOPs10−150MFLOPs）。新的架构使用了2个新的操作，即 pointwise group 卷积和 channel shuffle，在保持准确率的同时极大地降低了计算量。在 ImageNet 的分类任务和 MS COCO 目...
【轻量级网络系列二】ShuffleNet:An Extremely Efficient Convolutional Neural Network for Mobile Devices论文总结
slamdunkofkd的博客
05-14 374
前言 ShuffleNet是被设计来手机设备上(这种算力比较有限，一般在10-150MFLOPs左右)。这里的FLOPs：全称floating point operations per second，意指每秒浮点运算次数，可以大致理解为算力评估的一个标准。ShuffleNet利用了pointwise group convolution and channel shuffle操作来达到减小计算量的效果。 现在的CNN模型所取到很好的结果上，FLOPs往往达到十亿次，本论文探求一种在保持FLOPs在10-.
【读点论文】ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices，规则分组，有序混洗
白水空空
05-20 1010
ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices Abstract 本文介绍了一种称为ShuffleNet的计算效率极高的CNN架构，它是专门为计算能力非常有限(例如10-150 MFLOPs)的移动设备设计的。新架构利用两种新操作，逐点组卷积和信道混洗，在保持精度的同时大大降低了计算成本。 在ImageNet分类和MS COCO对象检测上的实验证明了ShuffleNet优于其他结构的性能，
目标检测论文：ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices及其PyTorch实现
mingo_敏
07-22 693
ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices 论文链接：https://arxiv.org/pdf/1707.01083.pdf PyTorch：https://github.com/shanglianlm0525/Lightweight-network import torch...
mobilenets: efficient convolutional neural networks for mobile vision applications
最新发布
03-16
Mobilenets是一种高效的卷积神经网络，专门用于移动视觉应用。它采用了深度可分离卷积来减少计算量和参数数量，从而使得在移动设备上运行时速度更快，占用更少的存储空间。这使得Mobilenets成为在移动设备上进行实时...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值