DeepRebirth: Accelerating Deep Neural Network Execution on Mobile Devices

最新推荐文章于 2021-07-02 17:00:00 发布
最新推荐文章于 2021-07-02 17:00:00 发布
阅读量477 收藏 2
点赞数 1
分类专栏： CNN 网络加速 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16936725/article/details/79450130
版权

DeepRebirth: Accelerating Deep Neural Network Execution on Mobile Devices

作者将CNN中的层分为两种:(1)Tensor Layer，如conv，fc；（2）Non-tensor Layer，如pooling，norm。作者发现网络进行前向推理时，Non-tensor layer也会占用不少时间和内存，作者提出用单独的Tensor layer来替换Tensor layer和其后临近的Non-tensor layer能减少网络运行时间。

Streamline Slimming

这里写图片描述
- norm layer：直接删去
- pooling layer：将pooling layer中的stride移到conv layer中

Branch Slimming

这里写图片描述

Branch Slimming主要针对的是GoogLeNet中的Inception结构，这个部分将Inception结构中的最左边(conv_1x1)和最右边(pooling+conv_1x1)删去了，仅保留了中间两个分支，调整了输入输出通道，这个部分需要注意网络最后的输出通道数，修改方法没有指定要求

这里写图片描述

对于一个预训练网络，逐层进行合并，新层采用标准初始方式，学习率为其它层的10倍，最后微调整个网络

结论：实现了3倍加速，2.5被运行内存节省，只带来了0.4的top-5 acc drop

X-SPY
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DeepRebirth——通过融合加速网络
shuzfan的专栏
11-12 3994
这里介绍2017ICLR OpenReview中的一篇有关网络加速的文章《DeepRebirth: A General Approach for Accelerating Deep Neural Network Execution on Mobile Devices》。 看文章标题觉得高大上，看方法细节觉得卧槽好水，看自己的验证结果好像还有点用。附：2017ICLR openreview http:
论文笔记：DeepRebirth——从非权重层入手来进行模型压缩
小时候贼聪明
07-25 3303
前言因为最近都在关注深度学习模型压缩相关的工作，所以今天给大家介绍的也是一篇关于模型压缩的方法。这是一篇非常有意思的工作，来自于三星研究院在ICLR2017上发表的论文：DeepRebirth: A General Approach for Accelerating Deep Neural Network Execution on Mobile Devices。
DeepRebith: Accelerating Deep Neural Network Execution on Mobile Devices
lynazhangs的博客
12-28 226
前言- 由于dnn model的大量计算和memory cost,将深度神经网络运行在移动设备上一直是一个挑战. 而目前的方法，比如matrix approximation using SVD, 并不能满足实时的要求。
Rebirth
IMU_Crius
08-24 301
IMU_Crius  2017 master. Rebirth.
动态生成卷积核加速卷积神经网络Dynet
weixin_41396062的博客
04-23 1452
利用动态生成的卷积核加速卷积神经网络 ICLR2020文章： DYNET: DYNAMIC CONVOLUTION FOR ACCELERATING CONVOLUTION NEURAL NETWORKS （一）文章的核心思想： adaptively generate convolution kernels based on image contents 通过 image的内容动态的生成卷积核 经...
Batch Normalization: Accelerating Deep Network Training by Reducing Internal.pdf
02-21
Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift
Batch Normalization：Accelerating Deep Network Training
03-12
这个概念由Sergey Ioffe和Christian Szegedy在2015年的论文《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》中首次提出。 ### 内部协变量漂移问题 在深度神经...
ESPACE: Accelerating Convolutional Neural Networks via Eliminating Spatial and Channel Redundancy
02-07
However, the performance gains have come at a cost of substantially intensive computation complexity, which prohibits its usage in.resource-limited applications like mobile or embedded devices....
Batch Normalization: Accelerating Deep Network Training by Reducing
11-20
《批量归一化：通过减少内部协变量漂移加速深度网络训练》是深度学习领域的一篇重要论文，由Sergey Ioffe和Christian Szegedy于2015年提出。这篇论文的核心思想是引入批量归一化（Batch Normalization，BN）技术，...
Accelerating Deep Learning by Focusing on the Biggest Losers
01-07
Accelerating Deep Learning by Focusing on the Biggest Losers 概 思想很简单, 在训练网络的时候, 每个样本都会产生一个损失L(f(xi),yi)\mathcal{L}(f(x_i),y_i)L(f(xi​),yi​), 训练的模式往往是批训练, 将一个...
【非权重压缩】DEEPREBIRTH论文解读
qq_23546067的博客
12-22 194
**摘要：将网络分为张量层(conv，FC)和非张量层（LRN，pool，dropout，activity等），并对模型进行非张量层的修改，并对修改后的网络进行fine-tune。**
图上的对抗与攻击精选论文列表(​2021相关论文一览)
数据派THU
07-02 831
来源：深度学习与图网络 本文约1400字，建议阅读5分钟本文为你分享图上的对抗与攻击精选论文。 2021相关论文一览大规模攻击图神经网络图神经网络的黑盒梯度攻击：更深入洞察图的攻击和防御...
模型压缩和加速方法总结和文献综述
senbinyu的博客
08-21 3444
本文集中了一些针对模型压缩和技巧，用于加快计算速度的论文。 如下所示，模型压缩具有不同的技术，在这里我将主要列出深度学习网络部分。 1. Review papers，综述文章 以下是推荐用于模型压缩和加速的几篇论文。 Cheng Yu et al., A survey of model compression and acceleration for deep neural networks, 2017. Cheng Jian et al., Recent advances in efficie
模型加速论文2018
风中落泪的花
01-05 532
[He et al., 2018] Yihui He, Ji Lin, Zhijian Liu, Hanrui Wang, Li-Jia Li, and Song Han. AMC: AutoML for Model Compression and Acceleration on Mobile Devices. In European Conference on Computer Vision ...
2018/12/14 Deep Neural Network Training(1)
the__future的博客
12-14 251
Loss Function and Optimization 损失函数 如何优化 线性分类器 损失函数是量化的评估线性分类器的标准。损失函数是优化的目标。 损失函数的定义： 当初始化W很小的时候，S–>0,此时L–>c-1（其中c代表类的个数） 线性代数 有限字长 当我们在训练集上训练出来的分类器训练的很好的时候，这时候会出现一个过拟合效应，原因是我们的训练集并没有很好的表现现实
模型压缩经典论文SqueezeNet:AlexNet level accuracy with 50x fewer parameters and less 0.5MB model size论文详解
祥瑞的技术博客
01-06 748
ICLR2017 的SqueezeNet为模型压缩领域最经典的文章之一。 论文链接：http://arxiv.org/abs/1602.07360 代码链接：https://github.com/DeepScale/SqueezeNet 目录 一、简介 1.1 作者 1.2 SmallerCNN的优点   层间传递少   占用带宽小   更易部署于硬件 1.3 贡献点 二、方法...
深度学习模型压缩方法（5）-----Deep Compression
shentanyue的博客
10-31 7410
《Deep Compression: Compression Deep Neural Networks With Pruning, Trained Quantization And Huffman Coding 原作者基于Alex的代码：https://github.com/songhan/Deep-Compression-AlexNet  用Caffe实现：https://github.co...
模型压缩与加速概述
weixin_35848967的博客
07-06 629
文章说明：该文章的内容是我看网上模型压缩视频中的课件内容，这里是我记录的笔记。视频中说内容来源于valse2018：深度神经网络加速核压缩年度紧张包括(2017)程健 1 理论基础 必要性 在许多网络结果中，如VGG-16网络，参数数量1亿3千多万，占用500MB空间，需要进行309亿次浮点运算才能完成一次图像识别任务。 可行性 论文提出，其实在很多深度的神经网络中存在着显著的冗余。仅仅使用很少一部分（5%）权值就足以预测剩余的权值。该论文还提出这些剩下的权值甚至可以直接不用被学习。也就是说，仅仅训练一小
方案-基于云架构的校园信息化建设方案.pdf
最新发布
07-29
方案-基于云架构的校园信息化建设方案.pdf
请把这篇文献《Accelerating Similarity-Based Model Matching Using On-The-Fly Similarity Preserving Hashing》翻译成中文
04-04
加速基于相似性模型匹配的On-The-Fly相似性保持哈希 摘要： 在软件工程中，模型匹配是一项核心任务，广泛应用于模型驱动工程、软件重构、需求管理、代码检查等领域。由于模型通常包含大量的元素和复杂的结构，模型...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值