深度神经网络的压缩与加速综述

最新推荐文章于 2024-08-26 12:30:32 发布
最新推荐文章于 2024-08-26 12:30:32 发布
阅读量7.4k 收藏 16
点赞数 2
分类专栏： Paper 计算机视觉 文章标签： Paper  DL
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AliceLeeHX/article/details/82800359
版权
本文综述了深度神经网络的压缩与加速方法，包括参数剪枝、参数共享、低秩分解、紧性卷积核和知识蒸馏等策略。参数剪枝通过结构化和非结构化方法减少冗余参数，参数共享利用量化和映射实现资源共享，低秩分解通过矩阵分解压缩模型，紧性卷积核设计降低计算复杂度，知识蒸馏则将大型模型的知识转移到小型模型中。文章探讨了这些方法对嵌入式和便携式设备的影响，并提供了评估标准和结果比较。
摘要由CSDN通过智能技术生成

引用本文：

[如本文对读者朋友们的研究有所帮助，请添加如下参考文献]

纪荣嵘,林绍辉,晁飞,吴永坚,黄飞跃. 深度神经网络压缩与加速综述[J]. 计算机研究与发展, 2018, 55(9): 1871-1888.
Ji Rongrong,Lin Shaohui,Chao Fei,Wu Yongjian,Huang Feiyue. Deep Neural Network Compression and Acceleration: A Review. Journal of Computer Research and Development, 2018, 55(9): 1871-1888.

 

1.原因

对于深度神经网络而言，其无论参数、计算量、数据存储或者说是网络深度与宽度等等都会限制深度神经网络在嵌入式、便携式工具上的拓展应用

2.加速、压缩任务

2.1 卷积层：计算耗时长，可以通过权值共享策略进行网络存储压缩，涉及到的是网络的计算加速

2.2 全连接层：因为是神经元之间的全连接，所以其网络参数尤其的多，因此涉及到的是网络模型的内存压缩

而这两项任务设计到很多学类门课：机器学习、参数优化、计算架构、数据压缩、索引、硬件加速。

3.主流方法

深度神经网络的压缩与加速的主要方法有：参数剪枝、参数共享、低秩分解、紧性卷积核设计、知识蒸馏

参数剪枝：主要通过设计判断参数重要与否的准则，移除冗余的参数.可用于卷积层和全连接层，需要逐层逐步进行网络压缩。

参数共享：主要探索模型参数的冗余性，利用Hash或量化等技术对权值进行压缩.可用于卷积层和全连接层，需要逐层逐步进行网络压缩。既能适应模型重训练，也能够通过预训练网路产生作用。

低秩分解：利用矩阵或张量分解技术估计并分解深度模型中的原始卷积核.可用于卷积层和全连接层，能够在CPU/GPU的条件下，实现端对端的训练。既能适应模型重训练，也能够通过预训练网路产生作用。

紧性卷积核：紧性卷积核的设计主要通过设计特殊的结构化卷积核或紧性卷积计算单元，减少模型的存储与计算复杂度.并且该种

最低0.47元/天 解锁文章
AliceLeeHX
关注
专栏目录
深度神经网络压缩与加速综述 Deep Neural Network Compression and Acceleration: A Review
daisyxyr的博客
05-02 342
13.深度神经网络压缩与加速综述 Deep Neural Network Compression and Acceleration: A Review 摘要：深度神经网络在人工智能的应用中，包括计算机视觉、语音识别、自然语言处理方面，取得了巨大成功.但这些深度神经网络需要巨大的计算开销和内存存储，阻碍了在资源有限环境下的使用，如移动或嵌入式设备端.为解决此问题，在近年来产生大量关于深度神经网络压缩与加速的研究工作.对现有代表性的深度神经网络压缩与加速方法进行回顾与总结，这些方法包括了参数剪枝、参数共享、低秩
英文文献打卡Day13
m0_58654537的博客
03-17 789
深度神经网络压缩与加速综述 Deep Neural Network Compression and Acceleration:A Review Key words: DNN compression 深度神经网络压缩, DNN acceleration 深度神经网络加速, parameter pruning 参数剪枝, parameter sharing 参数共享, low-rank decomposition 低秩分解, knowledge distilla...
神经网络模型剪枝快速指南
最新发布
新缸中之脑
08-26 1354
模型剪枝（Model Pruning）是指从深度学习神经网络模型中删除不重要的参数，以减小模型大小并实现更高效的模型推理。通常，只剪枝参数的权重，而不影响偏差。偏差的剪枝往往有更明显的缺点。非结构化剪枝期间权重如何归零的可视化由于这些参数被删除，可能会导致模型推理性能下降，因此应谨慎执行。在后续章节中，我们将探讨剪枝的类型以及剪枝策略，然后再讨论适合你特定用例的最佳剪枝策略。
深度神经网络模型压缩与加速研究综述
python_LC_nohtyp的博客
04-19 1983
深度神经网络模型压缩与加速研究综述 前言 深度卷积神经网络(CNNs)近年来在许多视觉识别领域取得了巨大的成功。然而，现有的深度神经网络模型在计算上是昂贵的且内存是密集型的。这限制了他们在低配置的硬件上的运行。因此，在不显著降低模型性能的情况下，在深度网络中进行模型压缩和加速是一种自然的思路，在这篇博客里讲会大致的想你介绍这个领域内的技术，综述了近年来发展起来的压缩和加速CNNs模型的先进技术。...
深度神经网络压缩与加速总结
LLL_mg的博客
09-28 2342
深度神经网络压缩与加速综述1. 深度神经网络压缩与加速的任务2. 模型压缩与加速方法（1） 参数剪枝（2） 参数共享（3） 低秩分解（4） 紧性滤波设计（5） 知识蒸馏3. 深度神经网络压缩与加速算法相关工作（1） 基于参数剪枝的深度神经网络压缩与加速（2） 基于参数共享的深度神经网络压缩与加速 参考文献：纪荣嵘, 林绍辉, 晁飞,等. 深度神经网络压缩与加速综述[J]. 计算机研究与发展, 2018, 55(09):1871-1888. 1. 深度神经网络压缩与加速的任务 （1）加速——卷积层 （2）压缩
网络模型压缩
milk_and_bread的博客
08-22 169
分类任务 图一各个网络识别的准确率，图二网络参数与识别效率 模型压缩 模型压缩流程
深度神经网络压缩与加速综述.pdf
09-26
深度神经网络压缩与加速综述.pdf
深度神经网络压缩与加速综述1
08-03
总之，深度神经网络的压缩与加速是一个涉及多个领域的交叉研究课题，旨在在满足性能要求的同时，减少计算资源的消耗。随着技术的不断发展，这一领域的研究将持续推动AI在各种实际应用中的普及和效率提升。
3深度神经网络压缩与加速综述_纪荣嵘.caj
06-13
3深度神经网络压缩与加速综述_纪荣嵘.caj
论文研究-神经网络模型压缩方法综述.pdf
07-22
由于存储空间和功耗的限制，神经网络模型在嵌入式设备上的存储和计算仍然是一个巨大的挑战。模型压缩作为一种有效的解决方法，受到了越来越多研究者的关注。针对卷积神经网络模型进行了研究，分析了模型中存在的冗余信息，并对国内外学者在神经网络模型压缩方面的研究成果整理，从参数剪枝，权重共享和权重矩阵分解等方面总结了神经网络压缩的主要方法。最后针对神经网络模型发展现状及目前面临的若干主要问题进行了讨论，指出了下一步的研究方向。
卷积神经网络模型压缩技术（Hardware-oriented Approximation of Convolutional Neural Networks）
06-13
High computational complexity hinders the widespread usage of Convolutional Neural Networks (CNNs), especially in mobile devices. Hardware accelerators are arguably the most promising approach for reducing both execution time and power consumption. One of the most important steps in accelerator development is hardware-oriented model approximation. In this paper we present Ristretto, a model approximation framework that analyzes a given CNN with respect to numerical resolution used in representing weights and outputs of convolutional and fully connected layers. Ristretto can condense models by using fixed point arithmetic and representation instead of floating point. Moreover, Ristretto fine-tunes the resulting fixed point network. Given a maximum error tolerance of 1%, Ristretto can successfully condense CaffeNet and SqueezeNet to 8-bit. The code for Ristretto is available. Comments: 8 pages, 4 figures, Accepted as a workshop contribution at ICLR 2016. Updated comparison to other works Subjects: Computer Vision and Pattern Recognition (cs.CV)
轻量级网络：减少参数量的几种方法
01-20
从 Inception 到 Xception 的发展一路看来，出现了很多精巧的结构设计和理念思想： 1、多个不同尺寸的卷积核，提高对不同尺度特征的适应能力 2、PW 卷积，降维或升维的同时，提高网络的表达能力 PW卷积：Pointwise Convolution，俗称 1×1 卷积，主要用于数据降维，减少参数量。 使用 1×1 卷积核对输入的特征图进行降维处理，这样就会极大地减少参数量，从而减少计算。例如，输入数据的维度是 256 维，经过 1×1 卷积之后，我们输出的维度是 64 维，参数量是原来的 1/4 。  PW 也可以用做升维，MobileNet V2 中使用 PW 将 3 个特征图
网络模型压缩方法
qq_43703185的博客
08-30 1184
一、网络剪枝： 将网络中小于某个设定的阈值（较小）的权重置0,就像二值网络一般；然后将被设置为0的权重屏蔽更新，继续进行训练；以此循环，每隔训练几轮过后，继续进行修剪。 二、增加正则化权重： 例如增加L1正则化程度，则会出现更多值为0的权重，L2正则化也一样，增大L2正则化程度，则更多的值很小的权重，则会有更多小于阈值的权重被剪枝。 三、简化网络结构： 使用轻量级网络结构，如使用了深度可分离卷积的mobilenet网络等，或者尝试使用浅层网络结构，使用bottleneck先缩小通道再扩增通道。 四、存储网络
深度网络模型压缩DEEP COMPRESSION
Yan_Joy的博客
07-26 2407
DEEP COMPRESSION主要流程： pruning（剪枝） trained quantization（量化训练） Huffman coding（霍夫曼编码） 首先通过学习重要的连接来修剪网络；接下来，量化权重以实施权重共享；最后，应用霍夫曼编码。实际效果可以将AlexNet 无准确率损失压缩35倍，240MB到6.9MB，VGG-16压缩49倍，552MB到11.3MB。 Network
《卷积神经网络的压缩与加速》概述
zhanbo86的博客
04-05 468
有四种常用方法：网络剪枝，模型量化，低秩估计，模型蒸馏。 网络剪枝主要有下列几种方法：filter-level剪枝（通过删除filter来减少通道数量），group-level剪枝即kernel-size缩小（如将33变成32，或者3*3变成固定形状包含若干个0的新核），稀疏卷积的方法（fine-grained,vector-level,kernel-level，稀疏矩阵乘法相比于稠密矩阵乘法，...
对网络模型压缩有什么了解
Kester_的博客
08-20 187
对网络模型压缩有什么了解 网络模型压缩方法通常有剪枝、量化、蒸馏。 剪枝分为非结构化剪枝和结构化剪枝，非结构化剪枝指将部分不重要的参数置0，在一般的硬件设备中其实并不能加速，因为即使是0仍然要参与运算，结构化剪枝指将部分不重要的通道去掉，可以直接减少运算量，一般在判别模型中权重越低重要性也越低，可以优先作为被剪枝的通道，但是在生成模型中，权重低不代表重要性低，可能权重低的通道会影响细节部分，因此常规的剪枝方式也不适用于生成模型。 量化是将精度转换为存储空间更小的精度，从32位单精度转换为8位整型，可以将占用
深度神经网络模型压缩与加速技术综述
"这篇论文是关于深度神经网络模型压缩与加速的综述，由Yu Cheng、Duo Wang、Pan Zhou（IEEE会员）和Tao Zhang（IEEE资深会员）撰写。文章探讨了如何在不显著降低模型性能的情况下，通过参数剪枝与共享、低秩分解、...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值