量化总结1-Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference

最新推荐文章于 2024-07-04 14:08:08 发布
最新推荐文章于 2024-07-04 14:08:08 发布
阅读量1.2k 收藏 4
点赞数
文章标签： 深度学习 算法 神经网络 卷积
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lovep1/article/details/113717800
版权
本文探讨了一种线性量化方法，通过整数运算替代浮点运算以优化神经网络的效率。核心在于将矩阵乘法转化为整数运算和移位操作，减少了计算复杂度。量化训练过程中，权重和激活值的量化策略不同，权重采用最大最小值，而激活值使用EMA计算。在不包含BN层和包含BN层的情况下，分别展示了量化流程，并指出在特定情况下可以避免不必要的量化反量化操作以提高效率。此外，文章讨论了仅量化权重不量化激活的策略，以及在前向推理时BN层融合的处理方式。
摘要由CSDN通过智能技术生成

先回顾论文的思想，再进一步讨论改进，本方法我进行了复现，但是没有将卷积乘法改成int型乘法，因为服务器没法做：

1、本方法属于线性量化，如下式，q是fp32的r的量化后的值：

 

 

将最小值也做了对应的量化（zero-point）。

  1. 讨论矩阵乘法的整形运算（我觉得是本文最精华的地方）

流程如下式所示，式2->式3->式4->式5：

 

由上可知，除了M以外，全部是整数，同时，我们进一步的将乘以M这

最低0.47元/天 解锁文章
lovep1
关注
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
holmosaint的博客
09-05 3972
摘要 作者提出了一种只使用整数运算的quantization方式，比起float point运算效率更高。同时提出了一种相应的训练方式来保证quantization之后的准确率。这篇文章的方法提升了accuracy和on-device latency之间的trade off，并且可以在MobileNets上使用。 1 introduction 作者总结了目前有效将庞大的神经网络应用在资源更为...
阅读笔记：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
qq_16907619的博客
04-08 942
阅读笔记：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference1、What the problems the paper mentioned ?2、Summary of major innovations (intro)3、How about the important related works/papers?(related work)4、What are some int
量化实例分析初探
最新发布
点滴的岁月
07-04 659
量化方法实现实例分析
论文总结：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
gcf_uinque的博客
02-26 778
论文地址：https://arxiv.org/pdf/1712.05877.pdf 主要内容 目前，将复杂的神经网络部署到小的移动设备上的主流方法有两种：一是设计一种体量小且高效的网络结构，如MobileNet、SqueezeNet、ShuffleNet和DenseNet等；另一种就是将网络的权重和激活值由原本的32位浮点数量化为低精度的定点数。 作者的主要贡献为： 提出一种量化方案，将权重和激...
论文阅读——Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
qq_37151108的博客
10-13 5146
论文阅读——Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference from Google Abstract 随着移动终端的普及以及深度学习模型对算力的巨大要求急需高效且准确的在设备进行推理的方案。本文提出了一种量化方案可以只用整数进行推理，比浮点数效率更高。本文还设计了一种训练程序可以保持量化后端到端的精度。这种方案较好的在精度和设备上端到端的延迟之间取得了较好的均衡，尤其在以
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
mizhenpeng的博客
09-20 9499
这篇文章是Google发布的关于神经网络量化方面的文章，文章地址：https://arxiv.org/abs/1712.05877 本博客参考了微信公众号“AI芯片算法”中的原创文章《Google CVPR2018 8bit 量化论文》一文。 1、本文的贡献 本文主要侧重将推断中的浮点数运算量化为整数运算（Integer-Arithmetic-Only），最终将权重和激活函数量化为8-bit...
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference 论文阅读
田震宇
06-18 2815
Introduction Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference 是 google 关于 模型压缩的一篇文章,该文章不仅仅是一篇研究工作，而且已经应用到Tensorflow Lite中。论文内容非常丰富，主要涉及了 Uniform affine qun...
量化理解（Google量化白皮书《Quantizing deep convolutional networks for efficient inference: A whitepaper》）
laozaoxiaowanzi的博客
07-23 1万+
一、什么是量化？为什么要量化？ 在深度神经网络模型应用中，量化是削减模型大小的一种常用方法。实际上就是把高位宽表示的权值和激活值用更低位宽来表示。为什么要削减模型，是因为硬件平台的自身性能不理想，如计算力低，内存、电量消耗等限制，导致模型推断速度慢、功耗高。 而定点运算指令比浮点运算指令在单位时间内能处理更多数据，同时，量化后的模型可以减少存储空间。当然，也可以将量化后的模型部署在高效的定制化计算平台上以达到更快的推断速度。 二、有哪些量化方法？怎样量化？ 具体的量化方案有以下几种： 1.Uniform A
神经网络量化：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
为实现四个现代化奋斗
11-20 1156
这篇文章是Google发布的关于神经网络量化方面的文章，文章地址：https://arxiv.org/abs/1712.05877 主要内容摘自：https://www.jianshu.com/p/19467624b4b0 有很少的修改 介绍 Low bits压缩再用于CNN推理当属该下的推理优化技术主流。 将本是Float32类型的乘法或乘加计算使用INT8类型来做可一次批量（SIMD...
Quantization and Training of Neural Networks
02-11
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference笔记
weixin_44287798的博客
12-16 741
#1提出问题：如何将复杂的CNNs成功部署到移动端等内存较小的设备中？ 【本篇中，中文的中括号里代表的是注释】 解决方案主要分为两类：1.开发新的网络架构【exploit computation or memory efficient operations】【eg：MobileNet SqueezeNet ShuffleNet DenseNet】 2.量化CNN中的权重与激活函数，把原本fp32数据用更低位精度的数据表示。【eg：三元权值网络、二元神经网络】 文中说到，尽管这些网络挺好，但是在权衡延迟和准
【论文阅读笔记】Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
热门推荐
时光机 °的博客
09-28 1万+
该方法的简称为：IAO   该论文提出了一种允许网络在推测时只使用整数计算的方法，即 float32 --> int8.   该文在MobileNets等已经压缩过的网络进行量化，测试数据集为ImageNet分类数据集。不同于其他的方法，在高度冗余的模型，如Alexnet等网络上进行的，且提出的硬件加速方法需要专门的特殊硬件（即他们并没有在真正的硬件上加速，只是提出一种理论），该方法在普通的...
Neon （ARM架构处理器扩展结构）
嵌入式与人工智能
12-25 1580
Neon （ARM架构处理器扩展结构）1.Neon2.ARM NEON技术3.用户体验编辑4.特征和优点编辑5.如何使用编辑矢量化编译器内部函数汇编器6.总结 1.Neon Neon是适用于ARM Cortex-A系列处理器的一种128位SIMD(Single Instruction, Multiple Data,单指令、多数据)扩展结构。 2.ARM NEON技术 是适用于ARM Cortex-A系列处理器的一种128位SIMD(Single Instruction, Multiple Data,单指令、
TF-Lite：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
h__ang的博客
09-24 1155
摘要 智能移动设备日益增长的普及度和基于深度学习模型令人畏惧的计算成本需要高效且精确的终端推理方案。我们提出了一个量化方案，它允许仅使用整数运算来执行推断方案，在通用的整数运算硬件上执行地要比浮点推断高效很多。我们也协同设计了一种训练过程来保存量化后的模型精度，结果是提出的量化方案在精度和设备延迟上取得了一个很好的平衡，即使在MobileNets（一种精简网络family，以实时效率而著名）上取得...
Quantization and Training of Neural Networks for EfficientInteger-Arithmetic-Only Inference量化学习
chenmingwei000的博客
07-12 140
1.提供了一个量化机制；量化了权重以及activations激活值为8bit整型数据，只有少数的bias量化为32bit整型，（思考bias的重要性，为何不量化为8bit，是否对结果有很大影响？量化机制是在推理时仅用整数运算，训练时使用使用浮点数，对于定义量化机制要对所有的，对于整型q以及对应的real value r是映射变换 affine mapping。3.我们提供了量化的训练框架，它是与推理框架共同设计，来减少与真实模型之间的accuracy的损失。
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference (纯整数计算)
既然选择了远方 便只顾风雨兼程 - 永强
03-22 1644
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference (纯整数算术计算) Benoit Jacob, Skirmantas Kligys, Bo Chen, Menglong Zhu, Matthew Tang, Andrew Howard, Hartwig Adam, Dmitry Kalenichenko post-training quantization，PTQ：训练后
H.264率控优化：R-Q模型初始化新方法
“Improved Methods for Initializing R-Q Model Parameters and Quantization Parameter in H.264 Rate Control” 在视频编码和传输中，码率控制扮演着至关重要的角色。H.264编码标准是目前广泛使用的高效视频压缩...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值