fp32和int8模型的区别_CNN推理优化系列之二：INT8 Quantization

最新推荐文章于 2024-07-24 17:46:49 发布
最新推荐文章于 2024-07-24 17:46:49 发布
阅读量1.5k 收藏 1
点赞数
文章标签： fp32和int8模型的区别
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39621695/article/details/111742626
版权
本文介绍了INT8量化技术在CNN推理优化中的应用，通过使用INT8代替FP32，提高计算性能并降低模型大小。fbgemm库展示了这种技术在牺牲小部分精度（1%以内）的情况下，可实现FP32模型1-2倍的性能提升。文章探讨了量化推理与训练过程，包括模拟量化训练机制，以及量化推理中的矩阵乘法和融合层计算。实验结果显示，INT8量化在Resnet和Inception v3模型上表现出良好效果。
摘要由CSDN通过智能技术生成

介绍

Low bits压缩再用于CNN推理当属该下的推理优化技术主流。

将本是Float32类型的乘法或乘加计算使用INT8类型来做可一次批量(SIMD指令集)执行更多的计算，从而有效提升CNN推理的计算性能。它也是当下CPU能够在性能与成本上战胜GPU并牢牢占据

深度学习模型推理市场90%以上份额的主要原因所在。

最近Facebook推出并开源了fbgemm，它即主要使用INT8计算来代替本来Float32做的事情，在牺牲小部分模型精度的情况下(做得好可控制在1%以内，亦取决于用户自身对性能与速率之间的取舍)，可

达到相对于FP32模型近1~2x的提升。模型权重所占size也是大大降低。

推本溯源，fbgemm里所用的low-bits压缩技术本质上与18年年初Google tensorflow-tflite所用的方法并无二致。而这一方法则在此篇blog要讲的paper中曾一一揭示。

典型的Quantization技术

Quantization技术用于深度学习模型推理优化早已有之，并非此paper先创。

但早先的Quantization技术用于推理多是在取得fp32计算训练好的模型参数权重之后，再对权重进行quantization，然后即使用scale过后的int8(or uint8)权重与op输入feature maps(亦经scale后变

为了low-bits的表示)进行原本由fp32类型进行的乘法或乘加计算，如此执行所用的ops以完成整个模型推理过程。

而这一inference过程本质上与fp32 train时进行的forward的计算有较大区别的，毕竟在使用fp32类型进行forward/backward计算是并无引入任何scale之类的东西。这样train出来的weights经由quantized

inference显然会有

最低0.47元/天 解锁文章
weixin_39621695
关注
AI大模型的神经网络模型量化技术：INT8 还是 INT4 ？
AI天才研究院
06-15 1万+
如果要量化的目的是实现硬件加速，则应首选确定性量化，因为可以预先指定适当的量化级别，以便在专用硬件上运行量化网络，对硬件的性能预期得到改善。QAT量化方法在付出重新训练的代价后，采用INT4的量化模型应用场合会较大，但稳定性还是需要大量的实验验证，尤其是安全性要求很高的自动驾驶领域，大家不得不慎重考虑。但是，DNN模型的每一层对准确性都有不同的影响，因此可以使用细粒度的混合精度量化方法，其中每层权重和激活值的位宽不同。而随机性量化，其权重、激活值或梯度是离散分布的，而量化值是从这些离散分布中采样而来。
大语言模型原理与工程实践：大语言模型推理工程提升规模：模型量
最新发布
AGI通用人工智能之禅
08-31 380
大语言模型原理与工程实践：大语言模型推理工程提升规模：模型量 作者：禅与计算机程序设计艺术 / Zen and the Art of Computer Programming 关键词：大语言模型、推理工程、模型量化、模型压缩、模型并行、张量并行、流水线并行、模型蒸馏
fp32和int8模型的区别_模型压缩入门
weixin_33632843的博客
01-12 1901
本教程介绍了模型压缩的三大方法：剪枝、蒸馏、量化，最终在pc端完成部署。这些方法均采用各领域的经典思路来实现，剪枝部分(BN剪枝、直接减通道)、蒸馏部分(参考Hinton论文)、量化(MNN离线量化)。教程的目的是帮助自己快速在模型压缩领域入门，通过实验体会剪枝、蒸馏、量化的效果，并在模型调试方面积累经验。模型压缩核心：先缩小模型尺寸，再补偿下降的精度实验模型：VGG16，ResNet34数据集：...
fp32和int8模型的区别_TensorRT模型转换及部署，FP32/FP16/INT8精度区分
weixin_39631316的博客
12-20 1425
TensorRT一、简介TensorRT 是一个深度学习模型线上部署的优化引擎，即 GPU Inference Engine。Tensor 代表张量，即数据流动以张量的方式，如4维张量 [N, C, H, W]。RT表示 runtime。 一般情况如上图，线下构建网络结构，训练好模型，然后在实际业务中线上部署到对实时性要求较高(latency敏感)的场景，如一般的嵌入式设备，云端等等。实际应用中，...
大模型量化技术大揭秘：INT4、INT8、FP32、FP16的差异与应用解析
顺其自然~专栏
07-24 2233
FP16格式，即16位浮点数（float16），相比于32位浮点数（float32），内存占用减少了一半，这在大规模深度学习应用中具有显著优势。然而，FP16格式也有其固有的缺点，即较低的精度，可能导致在某些情况下出现数值不稳定或精度损失的情况。在INT8量化中，模型的权重和激活值会经过一个量化过程，包括缩放和偏移，以尽可能保留原始浮点数的信息。量化通过减少每个参数的位数，可以显著减小模型的大小，从而减少存储需求。：在训练过程中考虑量化的影响，通过模拟低精度计算来调整模型参数，从而在量化后保持较高的精度。
FP32、FP16和INT8
热门推荐
胡乱学点东西
04-26 2万+
FP32（Full Precise Float 32，单精度）占用4个字节，共32位，其中1位为符号位，8为指数位，23为尾数位。 FP16（float，半精度）占用2个字节，共16位，其中1位为符号位，5位指数位，十位有效数字位。与FP32相比，FP16的访存消耗仅为1/2，也因此FP16是更适合在移动终端侧进行AI计算的数据格式。 INT8，八位整型占用1个字节，INT8是一种定点计算方式，代表整数运算，一般是由浮点运算量化而来。在二进制中一个“0”或者“1”为一bit，INT8则意味着用8bit来表
fp32和int8模型的区别_从TensorRT看INT8量化原理
weixin_40003451的博客
12-20 2987
1 Low Precision Inference现有的深度学习框架 比如：TensorFlow，pytorch，Caffe， MixNet等，在训练一个深度神经网络时，往往都会使用 float 32(Full Precise ，简称FP32)的数据精度来表示，权值、偏置、激活值等。但是如果一个网络很深的话，比如像VGG，ResNet这种，网络参数是极其多的，计算量就更多了(比如VGG 19.6 ...
OpenVINO使用的FP32格式的模型
02-14
OpenVINO使用的FP32格式的模型，基于DarkNet的YOLOv3转换，目标设备Intel 6-8代CPU
英伟达TensorRT 8-bit Inference推理
吴建明wujianming_110117
11-15 827
英伟达TensorRT 8-bit Inference推理 引论 ● 目标：将FP32 CNN转换为INT8，不会造成显著的精度损失。 ● 原因：Int8 Math具有更高的吞吐量和更低的内存需求。 ● 挑战：INT8的精度和动态范围，明显低于FP32。 ● 解决方案：在将训练模型权权重化为INT8时，及在INT8计算激活时，将信息损失降至最低。 ● 结果：方法已在TensorRT中实现。不需要任何额外的微调或重训练。 Outline ● INT8 compute ● Quantization ● Cali
实时推理中的量化与二值化技术：优化模型的先进策略（专业指导）
![实时推理中的量化与二值化技术：优化模型的先进策略（专业指导）]...为了在有限的计算资源和能源消耗下提升模型的运行效率，量化与二值化技术应运而生。这两项技术通过减少数据位宽来实现对模型的优化，同时确保推
FP32、FP16 和 INT8
leoatliang的博客
07-05 7862
FP32、FP16 和 INT8
fp32和int8模型的区别,INT32，INT，int32_t和INT8和中int8_t的区别
weixin_36190812的博客
02-23 560
I came across the data type int32_t in a C program recently. I know that it stores 32 bits, but don't int and int32 do the same?Also, I want to use char in a program. Can I use int8_t instead? What ...
fp32和int8模型的区别_Int8量化-ncnn社区Int8重构之路（三）
weixin_39825854的博客
12-20 698
传送门ncnn​github.comBUG1989/caffe-int8-convert-tools​github.com前言从去年8月初首次向社区提交armv7a版本的int8功能模块到现在过去半年了，中途经过N次迭代。原本以为提交后就可以去别处摸鱼打望，谁知已掉进不断自己挖坑填坑的过程。中间多次尝试放弃，社区维护比想象的困难大得多：速度上不去，精度掉得多，armv7-a位速度OK，arm64-...
深度学习中的数据类型介绍：FP32, FP16, TF32, BF16, Int16, Int8 ...
qq_43799400的博客
11-06 1万+
深度学习中的数据类型介绍：FP32, FP16, TF32, BF16, Int16, Int8 ...
TensorRT教程17： 使用混合精度--fp32、fp16、int8（重点）
米斯特龙的博客
07-25 1万+
TensorRT 使用混合精度 五种精度类型 kFLOAT //!< FP32 format. kHALF //!< FP16 format. kINT8 //!< INT8 format. kINT32 //!< INT32 format. kTF32 //!< TF32 format. TF32精度 TF32 Tensor Cores 可以使用 FP32 加速网络，通常不会损失准确性。 对于需要高动态范围权重或激活的模型，它比 FP16 更健壮。 在构建引擎时设置
TensorRT模型转换及部署，FP32/FP16/INT8精度区分
大巧不工
03-01 2万+
TensorRT 一、简介 TensorRT 是一个深度学习模型线上部署的优化引擎，即 GPU Inference Engine。Tensor 代表张量，即数据流动以张量的方式，如4维张量 [N, C, H, W]。RT表示 runtime。 一般情况如上图，线下构建网络结构，训练好模型，然后在实际业务中线上部署到对实时性要求较高（latency敏感）的场景，如一般的嵌入式设备，云端等等。实际应...
openvino INT8 FP16 FP32 数据类型性能对比
09-30 3613
先说结论：在CPU上，INT8略快；在GPU上，FP16最快。 测试环境：intel core i5 8500 应用：human_pose_estimation_demo 模型：human-pose-estimation-0001 数据：MOT16/test/MOT16-06 耗时(ms) CPU GPU FP16-INT8 124559 179275 FP16 128788 81001.2 FP32 127422 103820 日志： root@openpose:/openpo
TensorRT-FP32转INT8的校准原理
sinat_24674017的博客
07-27 863
Nvidia官网对TensorRT的介绍：https://docs.nvidia.com/deeplearning/sdk/tensorrt-developer-guide/index.html TensorRT-FP32转INT8的校准原理：https://arleyzhang.github.io/articles/923e2c40/
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值