Learning Accurate Low-Bit Deep Neural Networks with Stochastic Quantization

最新推荐文章于 2024-10-08 18:01:11 发布
最新推荐文章于 2024-10-08 18:01:11 发布
阅读量354 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/JachinMa/article/details/104482431
版权
本文提出了一种新的低比特深度神经网络量化方法，通过随机量化策略减少量化误差。与现有方法不同，该方法不是按权重大小量化，而是依据量化误差选择。文章探讨了四种量化方案，并发现线性函数作为最简单的策略，效果接近其他复杂策略。实验表明，随机量化优于确定性量化，可能由于其正则化效应。此外，作者研究了量化比例的增加策略，发现在指数递增方案下性能最佳。这种方法对于防止过拟合和优化小型网络表现有效。
摘要由CSDN通过智能技术生成

本文提出了一种使用随机算法量化网络的方法。

它的思路类似INQ，都是将权重划分为被量化的和全精度部分，然后逐次增加量化的比例，直到百分百。不同之处在于量化权重的选取：INQ是按照从大到小的顺序进行量化，而本文则根据量化误差的大小选取：
在这里插入图片描述
这里Wi是某通道权重的全精度值，Qi是其量化后的值。作者定义一个函数：在这里插入图片描述
作者依据该函数提出了四种量化方案：
1：量化概率为1/m，m为权重的通道数。
2：线性函数在这里插入图片描述
3：softmax函数在这里插入图片描述
4：sigmoid函数在这里插入图片描述
作者发现这四种方法的结果差不多，但因为线性函数最简单，所以认为它的效果最好。作者对这种现象的看法是，重要的是随机划分算法，而不是指

最低0.47元/天 解锁文章
JachinMa
关注
DeepFool: a simple and accurate method to fool deep neural networks.pdf
03-25
根据提供的文件信息，这篇论文的标题是"DeepFool: a simple and accurate method to fool deep neural networks.pdf"，描述是"DeepFool: a simple and accurate method to fool deep neural networks.pdf"，标签是...
Tensorflow 模型量化 （Quantizing deep convolutional networks for efficient inference: A whitepaper 译文）
妙猪的专栏
07-30 3万+
最近Tensorflow官方发布了一份《Quantizing deep convolutional networks for efficient inference》白皮书，共36页，讲解了基于Tensorflow的模型量化的有关知识。由于最近也在学习模型量化这部分工作，所以计划对这份文档翻译一下，同时share给大家。由于工作时间所限，我尽量每天翻译一些，如果有误解的地方，也请大家批评指正。 ...
【论文阅读笔记】Learning Accurate Low-Bit Deep Neural Networks with Stochastic Quantization
时光机 °的博客
11-15 626
全文概要   SQ 是一种增量量化的方法，其大概思路和 INQ 一样，选择部分参数进行量化，其他保持全精度。即该方法只针对权重进行。   SQ 通过给定的一系列量化比例 r，选择一层中的 r 比例卷积核进行量化。衡量每个卷积核的量化误差，依据量化误差得到该卷积核被选为量化卷积核的概率(虽然最后发现均匀概率函数效果最好)。通过逐渐增加 r 的大小（从50%→75%→87.5%→100%50\%\ri...
Stochastic Computing + Quantization
文小文的博客
10-25 3645
文章目录需要看还没看的paper大佬们的Google学术主页Conference Papers: QuantizationConference Papers: SC-Based Neural Network2018: DAC,2017: ASLPOS, ICCD, DAC, DATE, ASP-DAC2016: DAC,Nonlinear Activation Function in Stocha...
learning Accurate Low-Bit Deep Neural Networks with Stochastic Quantization论文
qq_35608277的博客
03-16 258
SQ-B(T)WN也是一种增量式量化算法，它从不同权重会导致不同量化误差角度，在近似实数权重时，逐渐增加量化比例最终完成全部权重量化。 训练时分阶段对权重量化，都是瞄准量化造成误差的一个量化时机问题 通过逐步量化权重，比直接全部量化产生的更加合适梯度方向 从算法结果上来说，看起来并不是特别好。 ...
模型量化笔记
wholetus的博客
01-10 2146
笔记
Deep-Learning-with-PyTorch.rar
11-25
Every other day we hear about new ways to put deep learning to good use: improved medical imaging, accurate credit card fraud detection, long range weather forecasting, and more. PyTorch puts these ...
Accurate-Binary-Convolution-Network:二进制卷积网络，可在ASIC中更快地进行实时处理
05-13
林小凡，丛聪，潘玮等人的 Networks的Tensorflow实现。 为什么要这个网络？ 让我们引用作者 众所周知，使用二进制权重和激活会极大地减少内存大小和访问，并可以用更高效的按位运算代替算术运算，从而导致更快的测试...
EXPLORING THE INTERPRETABILITY OF LSTM NEURAL NETWORKS OVER MULTI-VARIABLE DATA
10-18
To this end, we propose the interpretable multi-variable LSTM recurrent neural network (IMV-LSTM) capable of providing accurate forecasting as well as both temporal and variable level importance ...
Chapter3-BitAccurateDataTypes:Xilinx实施Mentor蓝皮书第3章
04-09
第3章-BitAccurateDataTypes Xilinx实施Mentor蓝皮书的第3章。
INT8量化原理理解
Activewaste
12-02 8861
INT8量化的深入理解参考量化三连问INT8量化原理INT8量化流程INT8量化实现TensorRT 的INT8量化关于INT8量化原理的Q&A 参考 Int8量化-介绍（一） 博主在上面文章的基础上进行合并整理，包括从这些文章的评论里提取有用的信息，帮助大家理解INT8量化的原理，加深巩固认识，再次感谢一下上面的文章。 强烈推荐一下第一篇知乎回答，我自己来回看了包括评论有三遍左右进行理解加深，答主写得是真的好。 量化三连问 为什么量化有用？ 因为CNN对噪声不敏感。 为什么用量化？ 模型太
量化技术详解
最新发布
qq_57540674的博客
10-08 755
量化公式中的r表示原来的浮点值，Q表示量化后的整型数据，s表示缩放因子，是量化相关的参数。网络中值的分布往往是不均匀的，更多的是类似高斯分布的形式。非对称量化表示的范围没有严格的限制，可以根据浮点值的范围，选取任意的想要表示的范围。网络中的值往往不是均匀分布的，大部分是中间多两边少的“钟”型分布，此外还可能存在一些离群点，如果量化要表示所有的浮点值，反而可能会降低量化的精度。：对称量化中浮点值的零点直接映射到量化值的零点，因此不需要其他参数来调整零点的映射的位置，与量化相关的参数只有缩放因子s。
大模型量化常用方法
qq_19886175的博客
09-18 1715
大模型权重值模型的部署的文件，叫权重。例如LAMMA 70B，权重的参数就有70B个。中间激活值a，就是在推理过程中的中间值。KVcache ，transformer中有K,Q,V三个矩阵。Q是每个token进来，K,V是需要重复计算的，例如我们已经输出了一个token，在输出第二个token的时候还需要计算第一个token的K V计算，说白了就是用内存换取速度的决定。，gradient是梯度，可能也会被量化。但是不一定。
TensorRT INT8量化原理与实现（非常详细）
热门推荐
Nicholson的博客
11-05 3万+
模型量化是什么？ 模型量化是由模型、量化两个词组成。我们要准确理解模型量化，要看这两个词分别是什么意思。 在计算机视觉、深度学习的语境下，模型特指卷积神经网络，用于提取图像/视频视觉特征。 量化是指将信号的连续取值近似为有限多个离散值的过程。可理解成一种信息压缩的方法。在计算机系统上考虑这个概念，一般用“低比特”来表示。也有人称量化为“定点化”，但是严格来讲所表示的范围是缩小的。定点化特指scale为2的幂次的线性量化，是一种更加实用的量化方法。 .........
神经网络量化（五）
weixin_38498942的博客
06-05 907
然而，如果在按照我们的流程步骤后，模型的性能仍然不令人满意，我们建议一组诊断步骤来识别瓶颈并改善性能。否则，我们可以考虑更高的比特宽度和更小的粒度，或者回到更强大的量化方法，例如量化感知训练。： 如果量化单个张量导致显著的准确性下降，我们建议在不同的粒度上可视化张量分布，例如，按通道（如图5所示）和维度（例如BERT中的每个标记或每个嵌入）。： 为了减少激活量化引起的量化误差，我们还可以尝试使用不同的范围设置方法或调整CLE以考虑激活量化范围，因为普通的CLE可能导致不均匀的激活分布。
TensorRT INT8 量化原理和实现
Levante_ceo的博客
03-06 2529
模型量化 = 模型 + 量化，两个词组成。在计算机视觉（深度学习）中，模型特指卷积神经网络，用于提取图像/视频特征。量化：将信号的连续取值近似为有限多个离散值的过程，即信息压缩的方法。常规精度一般使用FP32（32位浮点，单精度）存储模型权重；低精度（FP16，半精度浮点）；INT8（8位的定点整数）等数字格式。目前，低精度往往指代INT8，因此也称为“定点化（定点化指scale为2的幂次方线性量化，是一种更加实用的量化方法）”
quantization 顶会文章简介 2017
JachinMa的博客
09-12 589
CVPR 1、Deep Learning with Low Precision by Half-wave Gaussian Quantization
int8量化学习
qq_38109843的博客
07-02 2337
https://zhuanlan.zhihu.com/p/58182172
Adaptive Normalized Risk-Averting Training for Deep Neural Networks
04-01
Overall, ANRAT is a promising approach for training deep neural networks that takes into account the risk associated with different predictions and encourages the model to make more conservative and ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值