【非权重压缩】DEEPREBIRTH论文解读

最新推荐文章于 2024-08-13 10:52:36 发布
最新推荐文章于 2024-08-13 10:52:36 发布
阅读量199 收藏
点赞数
分类专栏： CNN加速论文 文章标签： 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_23546067/article/details/103646483
版权

非权重压缩

摘要：将网络分为张量层(conv，FC)和非张量层（LRN，pool，dropout，activity等），并对模型进行非张量层的修改，并对修改后的网络进行fine-tune。

论文下载见我的资源：https://download.csdn.net/download/qq_23546067/12045193

下面为非张量层在不同平台下的推理运行时间百分比。

NetworkIntel x86ArmTitan X
AlexNet32.08%25.08%22.37%
GoogLeNet62.03%37.81%26.14%
ResNet-5055.66%36.61%47.87%
ResNet-15249.77%N/A44.49%
Average49.89%33.17%35.22%

DEEPREBIRTH

STREAMLINE MERGING

在这里插入图片描述

BRANCH MERGING

在这里插入图片描述

使DEEPREBIRTH适应整体模式

新生成的层(即如Yosinski et al.(2014)所述，需要使用finetuning学习新的参数;Razavian et al.(2014)。我们使用标准的初始化方法来(例如，Xavier Glorot &Bengio(2010)初始化:在保持其他层的权值不变的情况下，初始化新层中的参数。在我们的优化过程中，我们将新学习层的学习率设置为其他层的10倍。将所提出的优化方案从底层应用到顶层。It is also possible to learn multiple rebirth layers at the same time (we merge and fine-tune 3 sequential inception layers 4b-4d together for GoogLeNet) or merge layers in orders other than bottom-to-top.

四组对比试验

Thus, we have 4 models to compare, namely GoogLeNet,
GoogLeNet-Merge, GoogLeNet-Tucker and GoogLeNet-Merge-Tucker.

SPEED-UP

在这里插入图片描述

在三星Galaxy5上的实验

在这里插入图片描述

ENERGY, STORAGE AND RUNTIME-MEMORY COST

在这里插入图片描述

qq_23546067
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
论文笔记：DeepRebirth——从非权重层入手来进行模型压缩
小时候贼聪明
07-25 3307
前言因为最近都在关注深度学习模型压缩相关的工作，所以今天给大家介绍的也是一篇关于模型压缩的方法。这是一篇非常有意思的工作，来自于三星研究院在ICLR2017上发表的论文：DeepRebirth: A General Approach for Accelerating Deep Neural Network Execution on Mobile Devices。
DeepRebirth——通过融合加速网络
shuzfan的专栏
11-12 4000
这里介绍2017ICLR OpenReview中的一篇有关网络加速的文章《DeepRebirth: A General Approach for Accelerating Deep Neural Network Execution on Mobile Devices》。 看文章标题觉得高大上，看方法细节觉得卧槽好水，看自己的验证结果好像还有点用。附：2017ICLR openreview http:
模型加速论文2018
风中落泪的花
01-05 534
[He et al., 2018] Yihui He, Ji Lin, Zhijian Liu, Hanrui Wang, Li-Jia Li, and Song Han. AMC: AutoML for Model Compression and Acceleration on Mobile Devices. In European Conference on Computer Vision ...
DeepRebirth: Accelerating Deep Neural Network Execution on Mobile Devices
X-SPY的博客
03-05 480
DeepRebirth: Accelerating Deep Neural Network Execution on Mobile Devices 作者将CNN中的层分为两种:(1)Tensor Layer，如conv，fc；（2）Non-tensor Layer，如pooling，norm。作者发现网络进行前向推理时，Non-tensor layer也会占用不少时间和内存，作者提出用单独的Te...
模型压缩经典论文SqueezeNet:AlexNet level accuracy with 50x fewer parameters and less 0.5MB model size论文详解
祥瑞的技术博客
01-06 751
ICLR2017 的SqueezeNet为模型压缩领域最经典的文章之一。 论文链接：http://arxiv.org/abs/1602.07360 代码链接：https://github.com/DeepScale/SqueezeNet 目录 一、简介 1.1 作者 1.2 SmallerCNN的优点   层间传递少   占用带宽小   更易部署于硬件 1.3 贡献点 二、方法...
非权重压缩DEEPREBIRTH.pdf
12-21
【原版论文】DEEPREBIRTH: A GENERAL APPROACH FOR ACCELERATING DEEP NEURAL NETWORK EXECUTION ON MOBILE DEVICES
yolov7论文及解读
04-23
模型级重参化包括平均多个模型的权重或者对不同迭代次数的模型权重进行加权平均。而模块级重参化如RepVgg，会在训练时拆分模块并在推理时整合。YOLOv7提出了新的重参数化模块和相应的应用策略，适应不同网络架构的...
论文研究-一种非线性权重的自适应粒子群优化算法.pdf
09-12
针对粒子群优化算法中出现早熟和不收敛问题，分析了基本PSO算法参数对其优化性能的影响，提出了基于非线性权重的自适应粒子群优化算法（NWAPSO）。在优化过程中，惯性权重随迭代次数非线性变化，改进的算法能使粒子...
YOLOv7论文超详细解读
10-30
YOLOv7 论文超详细解读 YOLOv7 是一个实时目标检测器，能够在 5FPS 到 160FPS 的范围内超过所有已知的目标检测器的速度和准确度。以下是 YOLOv7 论文的详细解读，涵盖了论文的架构、模型缩放、可训练的 bag-of-...
《文本深度学习模型压缩》综述论文
08-20
uniform量化方法将模型的权重和激活函数量化为固定的精度，而非uniform量化方法则将模型的权重和激活函数量化为可变的精度。量化可以有效地减少模型的规模，但可能会影响模型的准确性。 三、知识蒸馏（Knowledge ...
神经张量网络：探索文本实体之间的关系
weixin_34195142的博客
12-20 1064
欢迎大家前往云加社区，获取更多腾讯海量技术实践干货哦~ 译者：Waitingalone 本文翻译自Gaurav Bhatt在 http://deeplearn-ai.com 发表的NEURAL TENSOR NETWORK: EXPLORING RELATIONS AMONG TEXT ENTITIES。文中版权、图像代码等数据均归作者所有。为了本土化，翻译内容略作修改。 在这篇文章中，我将...
A Deep Architecture for Semantic Matching with Multiple Positional Sentence Representations翻译
nopSled
12-12 764
摘要 匹配自然语言句子对于许多应用（例如信息检索和问答）至关重要。现有的深度模型依赖于单个句子表示或多个粒度表示进行匹配。但是，这种方法无法在匹配过程中很好地捕获上下文相关的局部信息。为了解决这个问题，我们提出了一种新的深度架构，以匹配两个具有多个位置表示形式的句子。具体地，每个位置句子表示是在该位置的句子表示，由双向长短期记忆（Bi-LSTM）生成。最终，通过k-Max池化和多层感知器变换，通过...
Tensorflow学习笔记----FashionMnist线性层实战
weixin_43580130的博客
08-17 308
之前我们有张量基础上对mnist手写数字集进行处理，现在我们要在“层”的基础上对FashionMnist进行处理。 这样的话比起张量层要方便许多，对于“层”的方面，我们只需要使用layers.Dense()来进行封装五层网络从而降维，而不需要使用张量中的 out = relu{relu{relu[X@W1+b1]@W2+b2}@W3+b3} ；此外求解梯度也会简单许多。 在这里附上张量实现的连接：https://blog.csdn.net/weixin_43580130/article/details/10
NLP—RNTN文献翻译
hei653779919的博客
06-12 1100
NLP—RNTN文献翻译 1 摘要以及介绍 1.1 摘要 语义空间是非常有用的，但是对于长句子是不能使用一个规则的方式来表示句子的语义信息。对于任务中需要理解组成的部分（例情绪检测），需要更加丰富的监督训练和评估信息(更多的文本特征)以及更加有效的模型结构。为了解决这个问题，作者在这篇文章中提出了情绪树库的结构。一共包含了11855个句子语法分析树中215154个短语的细粒度情感标签。为了阐述他们，这里使用递归张量网络。当在一个新的情绪树库上训练完成的时候，该模型的很多指标都优于之前的模型。它是单个句子正负
论文笔记：DeepMIML
Learning from the mistakes
01-06 5193
感想 这篇论文是一篇17年AAAI发表的文章，文章的作者周志华教授，国内的机器学习大牛。花了点时间读完了这篇文章，然后代码我也找到了，代码的地址为：https://github.com/kingfengji/DeepMIML,代码是用keras写的，非常容易上手，由于官方只给了一个运行的demo，没有告诉我们怎么用自己的数据集跑，还是蛮遗憾的，不知道用自己的数据集跑模型效果会怎么样。论文本身提出
MIML系列(二)：Deep MIML Network及代码介绍
weixin_43436958的博客
04-12 2069
深度MIML网络 结合论文和代码来给大家详细介绍一下这篇论文 摘要   在许多实际的应用程序中，相关对象具有多个标签，并且可以表示为一个实例包，多实例多标签(MIML)学习为处理这类任务提供了一个框架，并在各个领域都表现出了良好的性能,在MIML设置中，实例的特征表示通常对最终性能有很大的影响;受近年来深度学习研究的启发，本文提出了一种利用深度神经网络生成MIML实例表示的深度MIML网络。深度...
学习笔记（二）——张量，操作，常用层，建模方式
weixin_43885614的博客
06-01 146
语言都是相通的，学习过程中，可以和我的大前端js来比较比较。 1 张量 import tensorflow as tf #创建张量 mammal = tf.Variable('Elephant',tf.string) tf.print(tf.rank(mammal)) mystr = tf.Variable(['hello'],tf.string) tf.print(tf.rank(mystr)) mymat = tf.Variable([[7],[11]],tf.int16) tf.print(tf.
kaggle中访问本地上传的图片(找到图片地址)
m0_55703957的博客
08-12 285
首先，在kaggle中左侧导航栏中找到datasets->New Dataset->Browse Files。选择Your Work->找到你想要使用的图片文件夹，点击右下角的加号。返回到代码中，右侧有一个Notebook->Add input。添加成功后，空心加号变为和image1右下角一样的黑色实心加号。返回Input,可以看到DATASETS下面已经添加进来了。点击红色圆圈中的复制符号即可复制图片存放的路径。创建成功后就可以看到数据集的详细信息。
深度学习调参--总结
最新发布
GDHBFTGGG的博客
08-13 1088
在深度学习中，调参是提升模型性能的关键步骤。虽然模型的架构设计和数据选择至关重要，但调参过程同样能够对模型的最终表现产生重大影响。
随机权重网络驱动的模糊非线性回归新方法
总结来说，这篇研究论文引入了随机权重网络来构建模糊非线性回归模型，特别强调了其在处理模糊输入和输出时的独特优势。它不仅提供了新的理论框架，而且可能为模糊系统建模和预测提供了一种实用且高效的工具，对于...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值