Quantization and Training of Neural Networks for EfficientInteger-Arithmetic-Only Inference量化学习

于 2023-07-12 09:00:50 发布
阅读量162 收藏
点赞数
文章标签： 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenmingwei000/article/details/131673264
版权
该论文提出了深度学习模型的量化方法，包括权重和激活值的8bit量化，以及关键的bias保持在32bit以减小精度损失。同时，它介绍了一套量化推理框架，适用于如Hexagon这样的整型硬件，并且提出与之配合的量化训练策略，以保持模型准确性。
摘要由CSDN通过智能技术生成

本片论文可谓是深度模型量化的经典之作，为此，虽有很多博主去解析，但还是想做个笔记记录学习成果；该论文共有如下贡献：

      1.提供了一个量化机制；量化了权重以及activations激活值为8bit整型数据，只有少数的bias量化为32bit整型，（思考bias的重要性，为何不量化为8bit，是否对结果有很大影响？？？）

    2.提供了量化推理框架，可以实现再整型运算的硬件上，例如e Qualcomm Hexagon

    3.我们提供了量化的训练框架，它是与推理框架共同设计，来减少与真实模型之间的accuracy的损失。

2.1. Quantization scheme

    量化推理

    量化机制是在推理时仅用整数运算，训练时使用使用浮点数，对于定义量化机制要对所有的，对于整型q以及对应的real value r是映射变换 affine mapping

 

chenmingwei000
关注
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
holmosaint的博客
09-05 4001
摘要 作者提出了一种只使用整数运算的quantization方式，比起float point运算效率更高。同时提出了一种相应的训练方式来保证quantization之后的准确率。这篇文章的方法提升了accuracy和on-device latency之间的trade off，并且可以在MobileNets上使用。 1 introduction 作者总结了目前有效将庞大的神经网络应用在资源更为...
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
青灵_Yaffa的博客
05-23 1745
神经网络的量化与训练Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference（高效整数算术推理的神经网络量化与训练）----2017Abstract1. Introduction2. Quantized Inference2.1. Quantization scheme2.2. Integer-arithmetic-only matrix multiplication---整数矩阵
论文总结：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
gcf_uinque的博客
02-26 793
论文地址：https://arxiv.org/pdf/1712.05877.pdf 主要内容 目前，将复杂的神经网络部署到小的移动设备上的主流方法有两种：一是设计一种体量小且高效的网络结构，如MobileNet、SqueezeNet、ShuffleNet和DenseNet等；另一种就是将网络的权重和激活值由原本的32位浮点数量化为低精度的定点数。 作者的主要贡献为： 提出一种量化方案，将权重和激...
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference笔记
weixin_44287798的博客
12-16 764
#1提出问题：如何将复杂的CNNs成功部署到移动端等内存较小的设备中？ 【本篇中，中文的中括号里代表的是注释】 解决方案主要分为两类：1.开发新的网络架构【exploit computation or memory efficient operations】【eg：MobileNet SqueezeNet ShuffleNet DenseNet】 2.量化CNN中的权重与激活函数，把原本fp32数据用更低位精度的数据表示。【eg：三元权值网络、二元神经网络】 文中说到，尽管这些网络挺好，但是在权衡延迟和准
【论文阅读笔记】Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
热门推荐
时光机 °的博客
09-28 1万+
该方法的简称为：IAO   该论文提出了一种允许网络在推测时只使用整数计算的方法，即 float32 --> int8.   该文在MobileNets等已经压缩过的网络进行量化，测试数据集为ImageNet分类数据集。不同于其他的方法，在高度冗余的模型，如Alexnet等网络上进行的，且提出的硬件加速方法需要专门的特殊硬件（即他们并没有在真正的硬件上加速，只是提出一种理论），该方法在普通的...
神经网络量化：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
为实现四个现代化奋斗
11-20 1202
这篇文章是Google发布的关于神经网络量化方面的文章，文章地址：https://arxiv.org/abs/1712.05877 主要内容摘自：https://www.jianshu.com/p/19467624b4b0 有很少的修改 介绍 Low bits压缩再用于CNN推理当属该下的推理优化技术主流。 将本是Float32类型的乘法或乘加计算使用INT8类型来做可一次批量（SIMD...
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference 论文阅读
田震宇
06-18 2838
Introduction Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference 是 google 关于 模型压缩的一篇文章,该文章不仅仅是一篇研究工作，而且已经应用到Tensorflow Lite中。论文内容非常丰富，主要涉及了 Uniform affine qun...
量化总结1-Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
lovep1的博客
02-06 1226
先回顾论文的思想，再进一步讨论改进，本方法我进行了复现，但是没有将卷积乘法改成int型乘法，因为服务器没法做： 1、本方法属于线性量化，如下式，q是fp32的r的量化后的值： 将最小值也做了对应的量化（zero-point）。 讨论矩阵乘法的整形运算（我觉得是本文最精华的地方） 流程如下式所示，式2->式3->式4->式5： 由上可知，除了M以外，全部是整数，同时，我们进一步的将乘以M这个浮点操作转化为整数运算和...
Neon （ARM架构处理器扩展结构）
嵌入式与人工智能
12-25 1610
Neon （ARM架构处理器扩展结构）1.Neon2.ARM NEON技术3.用户体验编辑4.特征和优点编辑5.如何使用编辑矢量化编译器内部函数汇编器6.总结 1.Neon Neon是适用于ARM Cortex-A系列处理器的一种128位SIMD(Single Instruction, Multiple Data,单指令、多数据)扩展结构。 2.ARM NEON技术 是适用于ARM Cortex-A系列处理器的一种128位SIMD(Single Instruction, Multiple Data,单指令、
Quantization and Training of Neural Networks
02-11
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
TF-Lite：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
h__ang的博客
09-24 1182
摘要 智能移动设备日益增长的普及度和基于深度学习模型令人畏惧的计算成本需要高效且精确的终端推理方案。我们提出了一个量化方案，它允许仅使用整数运算来执行推断方案，在通用的整数运算硬件上执行地要比浮点推断高效很多。我们也协同设计了一种训练过程来保存量化后的模型精度，结果是提出的量化方案在精度和设备延迟上取得了一个很好的平衡，即使在MobileNets（一种精简网络family，以实时效率而著名）上取得...
论文阅读——Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
qq_37151108的博客
10-13 5263
论文阅读——Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference from Google Abstract 随着移动终端的普及以及深度学习模型对算力的巨大要求急需高效且准确的在设备进行推理的方案。本文提出了一种量化方案可以只用整数进行推理，比浮点数效率更高。本文还设计了一种训练程序可以保持量化后端到端的精度。这种方案较好的在精度和设备上端到端的延迟之间取得了较好的均衡，尤其在以
阅读笔记：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
qq_16907619的博客
04-08 958
阅读笔记：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference1、What the problems the paper mentioned ?2、Summary of major innovations (intro)3、How about the important related works/papers?(related work)4、What are some int
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference (纯整数计算)
既然选择了远方 便只顾风雨兼程 - 永强
03-22 1690
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference (纯整数算术计算) Benoit Jacob, Skirmantas Kligys, Bo Chen, Menglong Zhu, Matthew Tang, Andrew Howard, Hartwig Adam, Dmitry Kalenichenko post-training quantization，PTQ：训练后
量化压缩论文：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
lankuohsing的博客
09-12 564
文章目录
论文《Learning both Weights and Connections for Efficient Neural Network》阅读笔记
m0_38082419的博客
12-01 774
因为对深度压缩中的剪枝不太理解遂读了原文作者更早的这篇详细讲网络剪枝的文章点击打开链接 剪枝的过程为： 1.首先剪枝的前提是对已完成训练的网络 2.进行剪枝   要点：根据一个阈值去裁剪参数 a.阈值的确定：首先这个阈值相关于这一层权重的标准差（The pruning threshold is chosen as a quality parameter multiplied by th
Value-aware Quantization for Training and Inference of Neural Networks
JachinMa的博客
03-01 398
本文提出了一种量化部分小的激活值及新的量化网络的反向传播的方法。 和权重熵量化方法的观察一致，作者发现大的激活值对精度的影响很大，且出现频率更低。于是作者提出了将1-3%最大的激活值保持原样，只量化剩余部分的激活值。 另外，作者在反向传播时，在计算每一层的梯度时，将激活值的数值类型转换为全精度。这样做的好处是，每次只需要存储一层激活值的全精度值，就减少了对存储的要求。 随后作者解释了，为什么量化激...
CLIP-Q并行剪枝量化压缩深度网络学习方法
量化通常分为后训练量化（Post-Training Quantization）和量化感知训练（Quantization-Aware Training）两种方式。 知识点四：CLIP-Q模型 CLIP-Q是一种结合了权值剪枝和量化技术的深度网络压缩方法，通过并行剪枝和...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值