量化/剪枝
文章平均质量分 63
农夫山泉2号
关于交流可以发邮件:778961303@qq.com
展开
-
【模型剪枝】——开源项目总结
阿里的一个高效、易用的深度学习模型压缩框架。它包含模型结构搜索、剪枝、量化、模型转换等功能, 能将巨大的深度学习模型压缩数倍到数十倍,目前在天猫精灵、海尔电视、优酷视频、人脸打卡机等场景中完成了落地,为超千万的IoT设备提供了AI能力。修剪是一种常用的压缩神经网络模型的技术。修剪方法探索模型权重(参数)中的冗余,并尝试删除/修剪冗余和非关键权重。- 一个通用的PyTorch模型剪枝库。- 实现了多种剪枝算法,如依赖性感知剪枝、L1剪枝等。- Microsoft 提供的多种模型剪枝算法实现。原创 2023-07-12 19:58:06 · 638 阅读 · 0 评论 -
【剪枝】——CNN网络剪枝综述Structured Pruning for Deep Convolutional Neural Networks: A survey
深度卷积神经网络(CNN)的卓越性能通常归因于它们更深、更宽的架构,这可能会带来巨大的计算成本。因此,修剪神经网络已经引起了人们的兴趣,因为它有效地降低了存储和计算成本。与导致非结构化模型的权重修剪不同,结构化修剪通过产生对硬件实现友好的模型,提供了实现加速的好处。结构化修剪的特殊要求导致了许多新挑战的发现和创新解决方案的开发。本文调查了深度CNN结构化修剪的最新进展。我们总结并比较了最先进的结构化修剪技术,包括滤波器排名方法、正则化方法、动态执行、神经架构搜索、彩票假说以及修剪应用。原创 2023-07-12 10:12:32 · 628 阅读 · 0 评论 -
【量化】——LSQ算法原理理解
LSQ中tensor的量化过程和伪量化一样,而其核心:scale不是通过tensor计算而来,而是将其作为一个可学习参数,通过训练得来转载 2022-08-07 18:34:37 · 5543 阅读 · 0 评论 -
【量化】——采用KL散度计算阈值
int8, KL散度1. KL散度的计算转载自:https://zhuanlan.zhihu.com/p/339613080KL散度可以用来衡量两个概率分布之间的相似性,两个概率分布越相近,KL散度越小。其计算公式为:通常P为真实事件的概率分布,Q为理论拟合出来的该事件的概率分布。因为DKL(P∣∣Q)D_{KL}(P||Q)DKL(P∣∣Q) (P拟合Q)和 DKL(Q∣∣P)D_{KL}(Q||P)DKL(Q∣∣P)(Q拟合P)是不一样的。2. code代码摘自:https://.原创 2021-09-14 00:16:32 · 1821 阅读 · 0 评论 -
【模型量化】——int8量化开源项目简介
int8量化https://github.com/BUG1989/caffe-int8-convert-tools采用python,对caffe的模型进行的量化,再用ncnn进行推理。原创 2021-08-26 23:43:57 · 469 阅读 · 0 评论 -
【模型量化】——DoreFa-Net理论与实践
转载自:https://blog.csdn.net/just_sort/article/details/1074769472.模型转载 2021-03-05 19:07:10 · 428 阅读 · 0 评论 -
【模型量化】——LSQ-Net: Learned Step Size Quantization论文
亮点:ICLR2020论文:https://arxiv.org/pdf/1902.08153.pdfcode:非官方实现摘要在推理时以低精度操作运行的深层网络具有比高精度替代方案更强大的功耗和空间优势,但是需要克服随着精度降低而保持高精度的挑战。在这里,我们提出了一种用于训练此类网络的方法,即“学习步长量化”,该方法可以在使用模型时在ImageNet数据集上实现迄今为止最高的准确性。各种架构,权重和激活量化为2位,3位或4位精度,并且可以训练达到完全精度基准精度的3位模型。我们的方法建立在现有方.原创 2021-03-05 17:08:32 · 842 阅读 · 0 评论 -
【网络裁剪】——通道剪枝问答/code解读
亮点:原理,code论文和原理和参考上一篇博客:Learning Efficient Convolutional Networks through Network Slimming通道裁剪在训练时需要做什么?在训练的时候需要训练一个通道稀疏特性的模型,实现通道稀疏化需要将和一个通道有关联的所有输入和输出的连接都剪掉。其如何训练一个通道稀疏的模型的?利用BN层的缩放因子,引入缩放因子正则项之后,我们得到的模型中许多缩放因子都会趋于0。code:# *****************.原创 2021-03-05 14:27:26 · 1117 阅读 · 1 评论 -
【网络裁剪】——Learning Efficient Convolutional Networks through Network Slimming
转载自:https://blog.csdn.net/h__ang/article/details/89376079论文链接:https://arxiv.org/abs/1708.06519官方代码(Torch实现):https://github.com/liuzhuang13/slimming第三方代码(PyTorch实现):https://github.com/foolwood/pytorch-slimming摘要在许多现实应用中,深度神经网络的部署由于其高额的计算成本变得很困难。在这篇论文.转载 2021-03-04 20:43:54 · 1189 阅读 · 1 评论 -
【模型裁剪】——Rethinking the Value of Network Pruning
论文:https://arxiv.org/pdf/1810.05270.pdfcode:https://github.com/Eric-mingjie/rethinking-network-pruning转载自:https://blog.csdn.net/zhangjunhit/article/details/83506306网络模型裁剪价值的重新思考当前的深度学习网络模型一般都是 heavy computational cost,如何降低其计算量而尽可能保持网络性能是一个重要的研究课题。标.转载 2021-03-04 17:55:35 · 292 阅读 · 0 评论 -
【QNN】——Ternary weight networks三值网络
转载自:https://blog.csdn.net/qq_28306361/article/details/101266795转载 2021-03-04 16:46:57 · 368 阅读 · 1 评论 -
【QNN】——Binarized Neural Networks论文
转载自:https://blog.csdn.net/liujianlin01/article/details/80917646[NIPS ‘16]论文地址:https://arxiv.org/pdf/1602.02830.pdf代码地址:https://github.com/MatthieuCourbariaux/BinaryNet这篇文章提出了一个新的网络:二值化网络(BNN),在运行时使用二值权重和激活。在训练时,二值权重和激活用于计算参数梯度。即网络权重和激活参数只有1和-1两种。1. 二.转载 2021-03-04 15:01:06 · 427 阅读 · 1 评论