【阅读笔记】《ShuffleNet V2: Practical guidelines for Efficient CNN Architecture Design》

最新推荐文章于 2023-12-18 18:02:09 发布
最新推荐文章于 2023-12-18 18:02:09 发布
阅读量516 收藏
点赞数
分类专栏： 笔记 论文代码学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ShuqiaoS/article/details/85236419
版权

本文记录了博主阅读《ShuffleNet V2: Practical guidelines for Efficient CNN Architecture Design》中记录的笔记。更新于2018.12.24。

文中主要观点

  1. FLOP无法等同于算法的计算量，原因在于：1）没有考虑memory access cost（MAC，内存访问损失）；2）degree of paprallelism（并行度）；3）运行算法的平台。因此，文中建议用direct metric，且应当将traget plateform（即平台）考虑进去。

以下为Guidelines：

  1. 前后通道数差距越大，速度越慢；速度在输入输出通道数等同时达到最小。
  2. 过多的group会导致MAC的上升：作者建议根据平台的情况和具体任务谨慎选择group的个数，切勿单纯为了增加通道数而应用大量的group。
  3. 碎片化的网络（Network fragment）会严重导致速度下降（ARM降低较少，GPU降低明显）。
  4. 像素级运算的计算量不可忽略：这里的像素级运算包括ReLU、AddTensor、AddBias和depthwise convolution。

更多内容，欢迎加入星球讨论。
在这里插入图片描述

ShuqiaoS
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design
12-03
Abstract. Currently, the neural network architecture design is mostly guided by the indirect metric of computation complexity, i.e., FLOPs. However, the direct metric, e.g., speed, also depends on the other factors such as memory access cost and platform characterics. Thus, this work proposes to evaluate the direct metric on the target platform, beyond only considering FLOPs. Based on a series of controlled experiments, this work derives several practical guidelines for efficient network de- sign. Accordingly, a new architecture is presented, called ShuffleNet V2. Comprehensive ablation experiments verify that our model is the state- of-the-art in terms of speed and accuracy tradeoff.
读书笔记：Health guidelines for Programmers程序员健康指南.zip
最新发布
07-19
读书笔记：Health guidelines for Programmers程序员健康指南
NIST：Security Guidelines for Storage Infrastructure
11-10
存储安全方向。美国国家标准指导文献。 NIST Special Publication 800-209 Security Guidelines for Storage Infrastructure
ISO 19011：2018 Guidelines for auditing management systems - 完整英文
09-30
《ISO 19011：2018 审核管理体系指南》是国际标准化组织（ISO）发布的一份重要标准，旨在为管理和系统审核提供全面的指导。这份53页的完整英文电子版详细阐述了如何有效地进行审计，以评估和改进各种管理系统的性能...
【读点论文】ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design，用部署的方式说明问题
白水空空
05-21 787
ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design Abstract 目前，神经网络架构的设计主要是以计算复杂性的间接指标，即FLOPs为指导。然而，直接指标，如速度，也取决于其他因素，如内存访问成本和平台特性。因此，这项工作提出在目标平台上评估直接指标，而不是只考虑FLOPs。 基于一系列的控制性实验，这项工作得出了高效网络设计的几个实用指南。据此，提出了一个新的架构，称为ShuffleNet V2。综
《ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design》论文笔记
m_buddy的博客
07-01 355
1. 概述 导读：文章指出现有使用例如FLOPs作为网络计算复杂度度量的方式是不准确的，还应该考虑诸如内存访问开销（MAC）以及平台特性等因素。这篇文章在固定的平台下进行实验分析（度量为速度与延迟），并给出了一些具有使用价值的网络设计指导意见。同时还提出了ShuffleNet的改进版本ShuffleNet v2，在网络性能与精度之间权衡做到了当时的state-of-the-art。 下面是当时...
【ShuffleNet V2】《ShuffleNet V2：Practical Guidelines for Efficient CNN Architecture Design》
bryant_meng
04-18 1133
ECCV-2018 caffe 版代码：https://github.com/miaow1988/ShuffleNet_V2_pytorch_caffe/blob/master/shufflenet_v2_x1.0.prototxt caffe 代码可视化工具：http://ethereon.github.io/netscope/#/editor 文章目录1 Background and Mo...
Shufflenet v2: Practical guidelines for efficient cnn architecture design论文学习
calvinpaean的博客
07-03 415
Shufflenet v2: Practical guidelines for efficient cnn architecture designAbstract1. Introduction2. Practical Guidelines for Efficient Network Design Abstract 目前神经网络结构设计都是由计算复杂度这个间接的评价指标来指导，即FLOPsFLOPs...
【论文阅读笔记】ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design
梁瑛平的博客
02-09 545
《ShufflfflffleNet V2: Practical Guidelines for Effiffifficient CNN Architecture Design》（一）论文地址：（二）核心思想：（三）Introduction：（四）实验平台和配置：4.1 GPU：4.2 ARM：4.3 输入大小：（五）四个原则：5.1 相同的channel数能够最小化MAC：5.2 过度的组卷积操作会...
轻量化网络（七）ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design
shentu7的博客
04-18 664
这篇由旷视提出的ShuffleNet V2主要是直接指标来衡量轻量化网络。过去许多文章都是以FLOPs为指标，FLOPs是一个间接衡量网络的理论指标。在实际中，FLOPs越低并不一定代表网络运行速度越快，比如MobileNet v2 比NASNET-A更快，但是拥有近似的FLOPs。在一些情况下，FLOPs低的网络反而运行速度更慢。因为还涉及到 memory access cost (MAC)以及平台...
[论文笔记]ShuffleNet V2: Practical Guidelines for EfficientCNN Architecture Design
qq_57886603的博客
11-25 2223
目录 一、前言 二、轻量化网络发展 三、论文解读 （一）为什么FLOPs≠速度 （二）如何减小MAC （三）其他影响因素 （四）结论 四、ShuffleNet_v2网络结构 （一）网络结构 （二）block设计 五、实验验证 六、代码实现 七、完整代码 一、前言 ShuffleNet V2中提出了很多新颖的观点，推动了轻量级神经网络的发展。 这里简单说一下我对这篇论文的理解。首先，作者开门见山提出过去绝大...
ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design（ECCV2018）
qihshe的博客
12-18 150
网络架构设计应该考虑直接指标，如速度，而不是间接指标，如FLOPs
ShuffleNet V2：Practical Guidelines for Efficient CNN Architecture Design
cdknight_happy的专栏
02-11 1225
论文：https://arxiv.org/abs/1807.11164
论文笔记：ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design
richard_che的博客
06-11 380
中心思想 指出当前主流的对轻量级网络的衡量方式不够全面（仅用FLOPs来衡量一个模型的轻量级程度） 实际在端上执行一张图像的预测，还需要考虑其他因素，如内存访问，平台架构等等 因此从实际角度出发，给出了一些轻量级网络的设计指导，并最终根据这些指导，引出了新的网络结构——ShuffleNet v2 用FLOPs衡量模型的主要问题 FLOPs本身和实际应用中关心的效率指标未必成正相关，如在应用中一般用的是speed, latency 在FLOPs相同的情况下，不同网络的真正速度也有差别， 同一个网络，在不
ShuffleNet V2：优化CNN设计的实用准则与高效架构
ShuffleNet V2: Practical Guidelines for Efficient CNN Architecture Design 在深度卷积神经网络（CNN）的设计过程中，传统的指导原则主要侧重于间接性能指标，如计算复杂度，即浮点运算次数（FLOPs）。然而，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值