量化总结1-Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference

最新推荐文章于 2024-10-08 18:01:11 发布
最新推荐文章于 2024-10-08 18:01:11 发布
阅读量1.2k 收藏 4
点赞数
文章标签： 深度学习 算法 神经网络 卷积
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lovep1/article/details/113717800
版权
本文探讨了一种线性量化方法，通过整数运算替代浮点运算以优化神经网络的效率。核心在于将矩阵乘法转化为整数运算和移位操作，减少了计算复杂度。量化训练过程中，权重和激活值的量化策略不同，权重采用最大最小值，而激活值使用EMA计算。在不包含BN层和包含BN层的情况下，分别展示了量化流程，并指出在特定情况下可以避免不必要的量化反量化操作以提高效率。此外，文章讨论了仅量化权重不量化激活的策略，以及在前向推理时BN层融合的处理方式。
摘要由CSDN通过智能技术生成

先回顾论文的思想，再进一步讨论改进，本方法我进行了复现，但是没有将卷积乘法改成int型乘法，因为服务器没法做：

1、本方法属于线性量化，如下式，q是fp32的r的量化后的值：

 

 

将最小值也做了对应的量化（zero-point）。

  1. 讨论矩阵乘法的整形运算（我觉得是本文最精华的地方）

流程如下式所示，式2->式3->式4->式5：

 

由上可知，除了M以外，全部是整数，同时，我们进一步的将乘以M这

最低0.47元/天 解锁文章
lovep1
关注
阅读笔记：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
qq_16907619的博客
04-08 958
阅读笔记：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference1、What the problems the paper mentioned ?2、Summary of major innovations (intro)3、How about the important related works/papers?(related work)4、What are some int
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
青灵_Yaffa的博客
05-23 1745
神经网络的量化与训练Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference（高效整数算术推理的神经网络量化与训练）----2017Abstract1. Introduction2. Quantized Inference2.1. Quantization scheme2.2. Integer-arithmetic-only matrix multiplication---整数矩阵
论文总结：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
gcf_uinque的博客
02-26 792
论文地址：https://arxiv.org/pdf/1712.05877.pdf 主要内容 目前，将复杂的神经网络部署到小的移动设备上的主流方法有两种：一是设计一种体量小且高效的网络结构，如MobileNet、SqueezeNet、ShuffleNet和DenseNet等；另一种就是将网络的权重和激活值由原本的32位浮点数量化为低精度的定点数。 作者的主要贡献为： 提出一种量化方案，将权重和激...
量化技术详解
最新发布
qq_57540674的博客
10-08 285
量化公式中的r表示原来的浮点值，Q表示量化后的整型数据，s表示缩放因子，是量化相关的参数。网络中值的分布往往是不均匀的，更多的是类似高斯分布的形式。非对称量化表示的范围没有严格的限制，可以根据浮点值的范围，选取任意的想要表示的范围。网络中的值往往不是均匀分布的，大部分是中间多两边少的“钟”型分布，此外还可能存在一些离群点，如果量化要表示所有的浮点值，反而可能会降低量化的精度。：对称量化中浮点值的零点直接映射到量化值的零点，因此不需要其他参数来调整零点的映射的位置，与量化相关的参数只有缩放因子s。
论文阅读——Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
qq_37151108的博客
10-13 5260
论文阅读——Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference from Google Abstract 随着移动终端的普及以及深度学习模型对算力的巨大要求急需高效且准确的在设备进行推理的方案。本文提出了一种量化方案可以只用整数进行推理，比浮点数效率更高。本文还设计了一种训练程序可以保持量化后端到端的精度。这种方案较好的在精度和设备上端到端的延迟之间取得了较好的均衡，尤其在以
神经网络量化：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
为实现四个现代化奋斗
11-20 1200
这篇文章是Google发布的关于神经网络量化方面的文章，文章地址：https://arxiv.org/abs/1712.05877 主要内容摘自：https://www.jianshu.com/p/19467624b4b0 有很少的修改 介绍 Low bits压缩再用于CNN推理当属该下的推理优化技术主流。 将本是Float32类型的乘法或乘加计算使用INT8类型来做可一次批量（SIMD...
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference 论文阅读
田震宇
06-18 2838
Introduction Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference 是 google 关于 模型压缩的一篇文章,该文章不仅仅是一篇研究工作，而且已经应用到Tensorflow Lite中。论文内容非常丰富，主要涉及了 Uniform affine qun...
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
holmosaint的博客
09-05 4001
摘要 作者提出了一种只使用整数运算的quantization方式，比起float point运算效率更高。同时提出了一种相应的训练方式来保证quantization之后的准确率。这篇文章的方法提升了accuracy和on-device latency之间的trade off，并且可以在MobileNets上使用。 1 introduction 作者总结了目前有效将庞大的神经网络应用在资源更为...
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference笔记
weixin_44287798的博客
12-16 763
#1提出问题：如何将复杂的CNNs成功部署到移动端等内存较小的设备中？ 【本篇中，中文的中括号里代表的是注释】 解决方案主要分为两类：1.开发新的网络架构【exploit computation or memory efficient operations】【eg：MobileNet SqueezeNet ShuffleNet DenseNet】 2.量化CNN中的权重与激活函数，把原本fp32数据用更低位精度的数据表示。【eg：三元权值网络、二元神经网络】 文中说到，尽管这些网络挺好，但是在权衡延迟和准
【论文阅读笔记】Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
热门推荐
时光机 °的博客
09-28 1万+
该方法的简称为：IAO   该论文提出了一种允许网络在推测时只使用整数计算的方法，即 float32 --> int8.   该文在MobileNets等已经压缩过的网络进行量化，测试数据集为ImageNet分类数据集。不同于其他的方法，在高度冗余的模型，如Alexnet等网络上进行的，且提出的硬件加速方法需要专门的特殊硬件（即他们并没有在真正的硬件上加速，只是提出一种理论），该方法在普通的...
Quantization and Training of Neural Networks
02-11
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
Neon （ARM架构处理器扩展结构）
嵌入式与人工智能
12-25 1610
Neon （ARM架构处理器扩展结构）1.Neon2.ARM NEON技术3.用户体验编辑4.特征和优点编辑5.如何使用编辑矢量化编译器内部函数汇编器6.总结 1.Neon Neon是适用于ARM Cortex-A系列处理器的一种128位SIMD(Single Instruction, Multiple Data,单指令、多数据)扩展结构。 2.ARM NEON技术 是适用于ARM Cortex-A系列处理器的一种128位SIMD(Single Instruction, Multiple Data,单指令、
TF-Lite：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
h__ang的博客
09-24 1182
摘要 智能移动设备日益增长的普及度和基于深度学习模型令人畏惧的计算成本需要高效且精确的终端推理方案。我们提出了一个量化方案，它允许仅使用整数运算来执行推断方案，在通用的整数运算硬件上执行地要比浮点推断高效很多。我们也协同设计了一种训练过程来保存量化后的模型精度，结果是提出的量化方案在精度和设备延迟上取得了一个很好的平衡，即使在MobileNets（一种精简网络family，以实时效率而著名）上取得...
Quantization and Training of Neural Networks for EfficientInteger-Arithmetic-Only Inference量化学习
chenmingwei000的博客
07-12 162
1.提供了一个量化机制；量化了权重以及activations激活值为8bit整型数据，只有少数的bias量化为32bit整型，（思考bias的重要性，为何不量化为8bit，是否对结果有很大影响？量化机制是在推理时仅用整数运算，训练时使用使用浮点数，对于定义量化机制要对所有的，对于整型q以及对应的real value r是映射变换 affine mapping。3.我们提供了量化的训练框架，它是与推理框架共同设计，来减少与真实模型之间的accuracy的损失。
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference (纯整数计算)
既然选择了远方 便只顾风雨兼程 - 永强
03-22 1690
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference (纯整数算术计算) Benoit Jacob, Skirmantas Kligys, Bo Chen, Menglong Zhu, Matthew Tang, Andrew Howard, Hartwig Adam, Dmitry Kalenichenko post-training quantization，PTQ：训练后
量化压缩论文：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
lankuohsing的博客
09-12 564
文章目录
论文《Learning both Weights and Connections for Efficient Neural Network》阅读笔记
m0_38082419的博客
12-01 773
因为对深度压缩中的剪枝不太理解遂读了原文作者更早的这篇详细讲网络剪枝的文章点击打开链接 剪枝的过程为： 1.首先剪枝的前提是对已完成训练的网络 2.进行剪枝   要点：根据一个阈值去裁剪参数 a.阈值的确定：首先这个阈值相关于这一层权重的标准差（The pruning threshold is chosen as a quality parameter multiplied by th
H.264率控优化：R-Q模型初始化新方法
“Improved Methods for Initializing R-Q Model Parameters and Quantization Parameter in H.264 Rate Control” 在视频编码和传输中，码率控制扮演着至关重要的角色。H.264编码标准是目前广泛使用的高效视频压缩...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值