Tensor Rt的int8量化原理

最新推荐文章于 2025-02-10 10:36:28 发布
最新推荐文章于 2025-02-10 10:36:28 发布
阅读量859 收藏 1
点赞数
分类专栏： 模型轻量化 面试 文章标签： 人工智能 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38346042/article/details/125990927
版权
本文介绍了Tensor RT的INT8量化原理，旨在减少模型计算的精度损失，提高推理速度。主要内容包括线性量化和对称线性量化方法，探讨了如何通过优化阈值选择，特别是利用相对熵和KL散度进行校准，以最小化信息损失。同时，详细阐述了Tensor RT的量化流程，包括收集统计量、执行校准算法和生成INT8推理引擎。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

量化的目标

  • 把神经网络运算的32浮点表示的权重，变成8为的Int整数，并且希望没有显著的准确率下降
  • 为什么要采用In8,因为它可以带来更高的吞吐率，并且更少的内存占用
  • 但是也面临挑战,Int8有更低的精度，并且有更小的动态范围
  • 如何保证量化后的准确率呢，解决方案 ： 对Int8量化后的模型权重和激活函数，进行最小化信息损失。
  • Tensor RT采用的方法，不需要额外的fine tuning 或重新训练。

In8推理

挑战

  • INT8 相对于FP32具有较低的精度和动态范围
    在这里插入图片描述
  • 从表中可以看出32位浮点，16位浮点,INT8 的动态范围有很大的不同，比如16位点是-65504 ~ +65504
了解本专栏 订阅专栏 解锁全文 超级会员免费看
利用Tensorrt实现int8量化
@bangbang的博客
09-18 2086
int8量化是利用int8乘法替换float32乘法实现性能加速的一种方法1.对于常规的模型有:y=kx+b,此时x,k,b都是float32,对于kx的计算使用float32的乘法2.对于int8模型有:y=tofp32(toint8(k)toint8(x))+b,其中int8int8结果为int 163 因此int8模型解决的问题是如何将float32合理转换为int8（合理的方法包括：KL散度，重新训练等），使得精度损失最小。
量化为INT8的时候出现错误：Calibration table does not match calibrator algorithm type.
最新发布
**My Coding Family**
04-16 621
🏆本文收录于《全栈Bug调优(实战版)》专栏，主要记录项目实战过程中所遇到的Bug或因后果及提供真实有效的解决方案，希望能够助你一臂之力，帮你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！ 备注：部分问题/疑难杂症搜集于互联网。
TensorRT INT8量化原理与实现（非常详细）
热门推荐
Nicholson的博客
11-05 3万+
模型量化是什么？ 模型量化是由模型、量化两个词组成。我们要准确理解模型量化，要看这两个词分别是什么意思。 在计算机视觉、深度学习的语境下，模型特指卷积神经网络，用于提取图像/视频视觉特征。 量化是指将信号的连续取值近似为有限多个离散值的过程。可理解成一种信息压缩的方法。在计算机系统上考虑这个概念，一般用“低比特”来表示。也有人称量化为“定点化”，但是严格来讲所表示的范围是缩小的。定点化特指scale为2的幂次的线性量化，是一种更加实用的量化方法。 .........
INT8量化
handsomeboysk的博客
02-10 1182
是一种，用于。相比于常见的和通过将浮点数转换为 8-bit 整数来减少计算开销和显存占用。
模型加速之INT8量化原理及实践（基于TensorRT）
Nicholson的博客
08-13 1万+
模型量化的简要总结： 1、量化的定义是将网络参数从Float-32量化到更低位数，如Float-16、INT8、1bit等。 2、量化的作用：更小的模型尺寸、更低的功耗、更快的计算速度。下图是不同数据结构比较及执行基本运算时的计算消耗。 3、浮点数均匀间隔映射的量化过程称为均匀量化，否则是非均匀量化，也可以叫作线性量化和非线性量化。 4、被映射区间关于0点对称分布称为对称量化，比如需要映射的数值范围[-10000,30000]，映射区间为[-127,127]，映射时选取被映射区间为[-30000
从TensorRT看INT8量化原理
pangxing6491的博客
09-08 365
int8
INT8量化原理理解
Activewaste
12-02 8970
INT8量化的深入理解参考量化三连问INT8量化原理INT8量化流程INT8量化实现TensorRT 的INT8量化关于INT8量化原理的Q&A 参考 Int8量化-介绍（一） 博主在上面文章的基础上进行合并整理，包括从这些文章的评论里提取有用的信息，帮助大家理解INT8量化的原理，加深巩固认识，再次感谢一下上面的文章。 强烈推荐一下第一篇知乎回答，我自己来回看了包括评论有三遍左右进行理解加深，答主写得是真的好。 量化三连问 为什么量化有用？ 因为CNN对噪声不敏感。 为什么用量化？ 模型太
fp32和int8模型的区别_从TensorRT看INT8量化原理
weixin_40003451的博客
12-20 3195
1 Low Precision Inference现有的深度学习框架 比如：TensorFlow，pytorch，Caffe， MixNet等，在训练一个深度神经网络时，往往都会使用 float 32(Full Precise ，简称FP32)的数据精度来表示，权值、偏置、激活值等。但是如果一个网络很深的话，比如像VGG，ResNet这种，网络参数是极其多的，计算量就更多了(比如VGG 19.6 ...
datawhale 2411组队学习：模型压缩4 模型量化理论（数据类型、int8量化方法、PTQ和QWT）
qq_56591814的博客
11-18 1465
介绍了不同的数据类型计算方式和表示范围、浮点数精度误差及避免方式。int8量化的两种方法——零点量化和线性量化。最后介绍了训练后量化和量化感知训练。
pytorch量化感知训练（QAT）示例---ResNet
02-19
1. 训练浮点模型，测试浮点模式在CPU和GPU上的时间; 2. BN层融合，测试融合前后精度和结果比对; 3. 加入torch的量化感知API，训练一个QAT...4. 保存定点INT8模型, 测试速度和精度; 5. 完成一致性对其，并保存int8模型。
7.TensorRT中文版开发教程-----TensorRT中的INT8量化详解
专注于人工智能领域的小何尚
04-30 1万+
7. 如何使用TensorRT中的INT8 点击此处加入NVIDIA开发者计划 7.1. Introduction to Quantization TensorRT 支持使用 8 位整数来表示量化的浮点值。量化方案是对称均匀量化 - 量化值以有符号 INT8 表示，从量化到非量化值的转换只是一个乘法。在相反的方向上，量化使用倒数尺度，然后是舍入和钳位。 要启用任何量化操作，必须在构建器配置中设置 INT8 标志。 7.1.1. Quantization Workflows 创建量化网络有两种工作流程： 训
基于python的tensorrt int8 量化yolov5 onnx模型实现
03-26
基于python的tensorrt int8 量化yolov5 onnx模型实现
tensorrt-int8量化介绍
hello_dear_you的博客
12-06 4193
0. 背景-为什么要做量化 尽管近几年来，模型的size在不断的压缩，但是计算量（通常几百MFLOPs左右）对于移动端还是很大。由于每个层的权重参数范围基本确定（BatchNorm），且波动不大，适合量化压缩。量化能减少访存和计算量。 1. 量化的原理 1.1 量化本质 1.2 量化原理-最大值映射 1.3饱和截断映射 2.TensorRT的INT8量化 2.1 模型选择 2.2 工作流程 3. 基于TensorRT的Python API实例 3.1 需要注...
行为分析(十一)：模型部署部分（二）：INT8模型量化以及TensorRT和NCNN的简单了解
qq_37662375的博客
09-09 2403
在之前的文章中也提到过，模型的部署可以理解为是：python训练权重转换为量化工具所需要的文件格式、模型量化、输出一致性校准和将模型放置于计算端运行测试这几部分的集合。 上面提到的整个模型部署过程中，相对比较困难的是模型量化过程 量化背景 尽管模型size在不断地压缩，但是其计算量通常还是有一两百MFLOPS的样子，这个计算量对于目前的（中低端）移动端CPU算力来说，还是有点吃力的，因此模型端做了最大的努力，移动端也要不甘示弱努力加油！ 通常移动端加速的方案时分CPU派跟GPU派的，目前在低端机型上
TensorRT INT8 量化原理和实现
Levante_ceo的博客
03-06 2642
模型量化 = 模型 + 量化，两个词组成。在计算机视觉（深度学习）中，模型特指卷积神经网络，用于提取图像/视频特征。量化：将信号的连续取值近似为有限多个离散值的过程，即信息压缩的方法。常规精度一般使用FP32（32位浮点，单精度）存储模型权重；低精度（FP16，半精度浮点）；INT8（8位的定点整数）等数字格式。目前，低精度往往指代INT8，因此也称为“定点化（定点化指scale为2的幂次方线性量化，是一种更加实用的量化方法）”
Int8量化-介绍
爱CV
04-27 7337
原文 前 言 本系列的目是详细叙述当前移动端Int8的方方面面，从最底层的Int8的汇编层实现原理以及汇编性能优化手段，到中间层的移动框架的配套代码实现（标准就以NCNN为例吧），以及上层对应的PC端量化方法（各种论文思路）总结及实现，和最后模型端re-train的方法、策略及指标介绍。 此外，利用PowerPerf（一种专门针对ARM CPU应用性能优化而开发的调试工具）对卷积kernel（汇编算子）各项硬件参数指标进行量化优化也是本文的重点，旨在提炼出一套通用的汇编代码调优方法论，从而使得Powe
【yolov8目标检测部署】TensorRT int8量化
王尼莫的博客
04-29 2709
模型量化是深度学习领域中一种重要的模型优化技术，它主要涉及将模型中的浮点数（如FP32）转换为低比特的格式（如INT8）。这样做的目的是为了减少模型的存储大小和内存占用，同时加快模型的推理速度，尤其在硬件资源受限的设备上效果显著。模型量化的方法：1. 训练时量化也叫量化感知训练（Quantization-Aware-Training,QAT），在训练过程中模拟量化操作，使模型适应量化，减少量化误差。
int8模型量化
ab0902cd的博客
10-30 4487
1. 量化原理 模型量化是用8bit整数去表示32bit浮点型小数的过程，模型量在移动端是比不可少的步骤，量化化的好处主要在于减少模型的体积，加快模型的计算速度，但在一定程度上会损失模型的精度。 模型量化的原理： 这里的S和Z均是量化参数，而Q和R均可由公式进行求值，不管是量化后的Q还是反推求得的浮点值R，如果它们超出各自可表示的最大范围，那么均需要进行截断处理， 具体可参考：http...
INT8量化感知训练原理分析
qq_40268672的博客
09-23 1445
在进行int8量化感知训练时，权重和特征是这样传递的，浮点型的特征Arl−1经过量化后变成int8比特的Aql−1，然后再反量化为Ar′l−1,Wrl也是同样，量化为Wql,再反量化为Wr′l,于是，Wr′l和Ar′l这两个浮点数进行卷积运算，加上偏置后结果为浮点数Arl，再经过量化,可得Aql，如下图所示A^{l-1}_r经过量化后变成int8比特的A^{l-1}_q，然后再反量化 \\为A^{l-1}_{r'},W^l_r也是同样，量化为W^l_q,再反量化为W^{l}_{r'}, \\于是，W^l_{
pytorch模型int8量化 MNIST
12-27
### PyTorch MNIST 模型 INT8 量化的实现 对于希望减少计算资源消耗并提高推理速度的应用场景而言，INT8量化是一种有效的方法。通过降低权重和激活值的精度到8位整数表示，可以在保持较高准确性的同时显著提升性能。 在PyTorch中执行INT8量化涉及几个重要步骤： #### 准备环境与加载预训练模型 为了确保后续操作顺利进行，先安装必要的库，并导入所需的模块[^1]。 ```python import torch from torchvision import datasets, transforms from torch.utils.data import DataLoader from tqdm import tqdm ``` 接着定义转换函数以及数据集加载器来获取MNIST测试集用于校准过程： ```python transform = transforms.Compose([ transforms.ToTensor(), ]) test_dataset = datasets.MNIST(root='./data', train=False, download=True, transform=transform) calibration_loader = DataLoader(test_dataset, batch_size=32, shuffle=False) ``` #### 定义辅助类来进行统计收集 创建一个简单的观察者类以记录每一层的最大最小值范围，这对于后续确定合适的缩放因子至关重要： ```python class MinMaxObserver(torch.nn.Module): def __init__(self): super(MinMaxObserver, self).__init__() self.min_val = float('inf') self.max_val = -float('inf') def forward(self, x): min_x = torch.min(x).item() max_x = torch.max(x).item() if min_x < self.min_val: self.min_val = min_x if max_x > self.max_val: self.max_val = max_x return x ``` #### 应用量化感知训练 (QAT) 或静态量化方法 这里展示的是基于静态仿真的方式，在此之前需确保已有一个经过充分训练好的浮点版本模型实例 `model` 可供使用。应用量化配置前记得设置为评估模式： ```python model.eval() # Switch the model into evaluation mode. quantized_model = torch.quantization.convert(model.to('cpu'), inplace=False) ``` 如果采用动态量化，则只需指定哪些类型的层需要被处理；而对于静态量化来说，除了上述之外还需要额外提供代表性的输入样本以便于调整比例尺参数： ```python # Static Quantization Preparation fused_model = torch.quantization.fuse_modules( copy.deepcopy(model), [['conv1', 'relu1'], ['conv2', 'relu2']]) qconfig_dict = {"": torch.quantization.get_default_qat_qconfig('fbgemm')} prepared_quantized_model = torch.quantization.prepare_qat(fused_model, qconfig_spec=qconfig_dict) for images, _ in calibration_loader: prepared_quantized_model(images) final_quantized_model = torch.quantization.convert(prepared_quantized_model.cpu().eval(), inplace=False) ``` 完成以上流程之后便得到了适用于部署阶段使用的低比特宽度网络结构——即完成了从FP32至INT8的数据类型转变工作[^2]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@BangBang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值