Quantization and Training of Neural Networks for EfficientInteger-Arithmetic-Only Inference量化学习

于 2023-07-12 09:00:50 发布
阅读量134 收藏
点赞数
文章标签： 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenmingwei000/article/details/131673264
版权
该论文提出了深度学习模型的量化方法，包括权重和激活值的8bit量化，以及关键的bias保持在32bit以减小精度损失。同时，它介绍了一套量化推理框架，适用于如Hexagon这样的整型硬件，并且提出与之配合的量化训练策略，以保持模型准确性。
摘要由CSDN通过智能技术生成

本片论文可谓是深度模型量化的经典之作，为此，虽有很多博主去解析，但还是想做个笔记记录学习成果；该论文共有如下贡献：

      1.提供了一个量化机制；量化了权重以及activations激活值为8bit整型数据，只有少数的bias量化为32bit整型，（思考bias的重要性，为何不量化为8bit，是否对结果有很大影响？？？）

    2.提供了量化推理框架，可以实现再整型运算的硬件上，例如e Qualcomm Hexagon

    3.我们提供了量化的训练框架，它是与推理框架共同设计，来减少与真实模型之间的accuracy的损失。

2.1. Quantization scheme

    量化推理

    量化机制是在推理时仅用整数运算，训练时使用使用浮点数，对于定义量化机制要对所有的，对于整型q以及对应的real value r是映射变换 affine mapping

 

chenmingwei000
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
holmosaint的博客
09-05 3965
摘要 作者提出了一种只使用整数运算的quantization方式，比起float point运算效率更高。同时提出了一种相应的训练方式来保证quantization之后的准确率。这篇文章的方法提升了accuracy和on-device latency之间的trade off，并且可以在MobileNets上使用。 1 introduction 作者总结了目前有效将庞大的神经网络应用在资源更为...
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference笔记
weixin_44287798的博客
12-16 739
#1提出问题：如何将复杂的CNNs成功部署到移动端等内存较小的设备中？ 【本篇中，中文的中括号里代表的是注释】 解决方案主要分为两类：1.开发新的网络架构【exploit computation or memory efficient operations】【eg：MobileNet SqueezeNet ShuffleNet DenseNet】 2.量化CNN中的权重与激活函数，把原本fp32数据用更低位精度的数据表示。【eg：三元权值网络、二元神经网络】 文中说到，尽管这些网络挺好，但是在权衡延迟和准
【论文阅读笔记】Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
热门推荐
时光机 °的博客
09-28 1万+
该方法的简称为：IAO   该论文提出了一种允许网络在推测时只使用整数计算的方法，即 float32 --> int8.   该文在MobileNets等已经压缩过的网络进行量化，测试数据集为ImageNet分类数据集。不同于其他的方法，在高度冗余的模型，如Alexnet等网络上进行的，且提出的硬件加速方法需要专门的特殊硬件（即他们并没有在真正的硬件上加速，只是提出一种理论），该方法在普通的...
神经网络量化：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
为实现四个现代化奋斗
11-20 1139
这篇文章是Google发布的关于神经网络量化方面的文章，文章地址：https://arxiv.org/abs/1712.05877 主要内容摘自：https://www.jianshu.com/p/19467624b4b0 有很少的修改 介绍 Low bits压缩再用于CNN推理当属该下的推理优化技术主流。 将本是Float32类型的乘法或乘加计算使用INT8类型来做可一次批量（SIMD...
论文总结：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
gcf_uinque的博客
02-26 759
论文地址：https://arxiv.org/pdf/1712.05877.pdf 主要内容 目前，将复杂的神经网络部署到小的移动设备上的主流方法有两种：一是设计一种体量小且高效的网络结构，如MobileNet、SqueezeNet、ShuffleNet和DenseNet等；另一种就是将网络的权重和激活值由原本的32位浮点数量化为低精度的定点数。 作者的主要贡献为： 提出一种量化方案，将权重和激...
Quantization and Training of Neural Networks
02-11
神经网络的量化与训练是深度学习领域的一项重要研究方向，旨在通过减少神经网络模型参数的位宽，降低其在计算资源受限的设备（如移动设备和嵌入式系统）上的推理成本，同时尽量减少精度损失。本知识点基于提供的文件...
Tensorflow-Neural-Network-Quantization:评估量化技术对神经网络推理时间影响的项目
05-17
Tensorflow神经网络量化这是2017-2018年高级计算机架构课程@PoliMi的学校项目。 请注意，存储库还包含数据集和所有模型文件。 您可以在这些笔记本上查看MNIST模型评估的主要结果： ， 还提供CIFAR-10模型的评估： ，...
Quantization for rapid deployment of deep neural networks
02-10
本文《Quantization for Rapid Deployment of Deep Neural Networks》由Samsung Advanced Institute of Technology的研究人员撰写，他们提出了一种简单的方法，通过识别通道级别的分布来减少量化引起的精度损失，并...
Deep-Compression-Compressing-Deep-Neural-Networks-with-Pruning-Trained-Quantization-and-Huffman:这是https的pytorch实现
05-10
总的来说，"Deep Compression-Compressing-Deep-Neural-Networks-with-Pruning-Trained-Quantization-and-Huffman"提供了一个实用的工具，帮助研究者和开发者应对深度学习模型的大小问题，为在资源受限的环境中运行...
A Survey of Quantization Methods for Efficient Neural Network In
09-25
3. 全精度量化训练：在训练阶段就引入量化，允许模型在量化层面上学习，提高量化解的精度。 三、量化误差与补偿 量化过程中不可避免地会产生误差，这可能导致模型性能下降。为了减轻这种影响，研究者提出了多种...
Neon （ARM架构处理器扩展结构）
嵌入式与人工智能
12-25 1570
Neon （ARM架构处理器扩展结构）1.Neon2.ARM NEON技术3.用户体验编辑4.特征和优点编辑5.如何使用编辑矢量化编译器内部函数汇编器6.总结 1.Neon Neon是适用于ARM Cortex-A系列处理器的一种128位SIMD(Single Instruction, Multiple Data,单指令、多数据)扩展结构。 2.ARM NEON技术 是适用于ARM Cortex-A系列处理器的一种128位SIMD(Single Instruction, Multiple Data,单指令、
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
mizhenpeng的博客
09-20 9457
这篇文章是Google发布的关于神经网络量化方面的文章，文章地址：https://arxiv.org/abs/1712.05877 本博客参考了微信公众号“AI芯片算法”中的原创文章《Google CVPR2018 8bit 量化论文》一文。 1、本文的贡献 本文主要侧重将推断中的浮点数运算量化为整数运算（Integer-Arithmetic-Only），最终将权重和激活函数量化为8-bit...
TF-Lite：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
h__ang的博客
09-24 1123
摘要 智能移动设备日益增长的普及度和基于深度学习模型令人畏惧的计算成本需要高效且精确的终端推理方案。我们提出了一个量化方案，它允许仅使用整数运算来执行推断方案，在通用的整数运算硬件上执行地要比浮点推断高效很多。我们也协同设计了一种训练过程来保存量化后的模型精度，结果是提出的量化方案在精度和设备延迟上取得了一个很好的平衡，即使在MobileNets（一种精简网络family，以实时效率而著名）上取得...
论文阅读——Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
qq_37151108的博客
10-13 5077
论文阅读——Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference from Google Abstract 随着移动终端的普及以及深度学习模型对算力的巨大要求急需高效且准确的在设备进行推理的方案。本文提出了一种量化方案可以只用整数进行推理，比浮点数效率更高。本文还设计了一种训练程序可以保持量化后端到端的精度。这种方案较好的在精度和设备上端到端的延迟之间取得了较好的均衡，尤其在以
量化总结1-Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
lovep1的博客
02-06 1200
先回顾论文的思想，再进一步讨论改进，本方法我进行了复现，但是没有将卷积乘法改成int型乘法，因为服务器没法做： 1、本方法属于线性量化，如下式，q是fp32的r的量化后的值： 将最小值也做了对应的量化（zero-point）。 讨论矩阵乘法的整形运算（我觉得是本文最精华的地方） 流程如下式所示，式2->式3->式4->式5： 由上可知，除了M以外，全部是整数，同时，我们进一步的将乘以M这个浮点操作转化为整数运算和...
阅读笔记：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference
qq_16907619的博客
04-08 754
阅读笔记：Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference1、What the problems the paper mentioned ?2、Summary of major innovations (intro)3、How about the important related works/papers?(related work)4、What are some int
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference 论文阅读
田震宇
06-18 2774
Introduction Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference 是 google 关于 模型压缩的一篇文章,该文章不仅仅是一篇研究工作，而且已经应用到Tensorflow Lite中。论文内容非常丰富，主要涉及了 Uniform affine qun...
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference (纯整数计算)
既然选择了远方 便只顾风雨兼程 - 永强
03-22 1599
Quantization and Training of Neural Networks for Efficient Integer-Arithmetic-Only Inference (纯整数算术计算) Benoit Jacob, Skirmantas Kligys, Bo Chen, Menglong Zhu, Matthew Tang, Andrew Howard, Hartwig Adam, Dmitry Kalenichenko post-training quantization，PTQ：训练后
integer quantization for deep learning inference: principles and empirical e
最新发布
09-19
整数量化是一种将深度学习推断网络中的权重和激活值转换为整数的技术。通常，深度学习模型中的参数是使用浮点数表示的，这需要大量的存储空间和计算资源。而整数量化可以将这些参数转换为整数，从而减小网络的存储...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值