利用Tensorrt实现int8量化

已于 2022-09-19 09:23:24 修改
阅读量1.8k 收藏 2
点赞数
分类专栏： object detection 模型部署 文章标签： python 深度学习 计算机视觉
于 2022-09-18 14:50:22 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38346042/article/details/126915228
版权
本文详细介绍了如何使用TensorRT进行int8量化，包括int8量化的优势和步骤，从导出ONNX文件到TensorRT模型的编译和推理。在编译过程中，通过设置BuilderFlag::kINT8进行int8量化，并自定义校准器类进行标定。在模型推理阶段，对输入图像进行预处理并执行推理，最后展示了完整的代码流程。
摘要由CSDN通过智能技术生成

1 介绍

1.1 int 8量化

int8量化是利用int8乘法替换float32乘法实现性能加速的一种方法

  • 1.对于常规的模型有:y=kx+b,此时x,k,b都是float32,对于kx的计算使用float32的乘法
  • 2.对于int8模型有:y=tofp32(toint8(k)toint8(x))+b,其中int8int8结果为int 16
  • 3 因此int8模型解决的问题是如何将float32合理转换为int8（合理的方法包括：KL散度，重新训练等），使得精度损失最小
  • 4 也因此，经过int8量化的精度也会受到影响：官方给出的参考值分类影响比较小1-2个点，检测器可能有3-5个点的降低，这只是参考值，实际情况需要根据自己的测试结果

1.2 int 8量化步骤

Tensorrt里面想要实现int8,主要分为以下4个步骤

  • 1.配置setFlag，通过代码 nvinfer1::BuilderFlag::kINT8，指定BuilderFlag为kINT8,告诉编译器我们的编译模式是int8
  • 2.实现Int8EntropyCalibrator类并继承
了解本专栏 订阅专栏 解锁全文 超级会员免费看
@BangBang
关注
专栏目录
订阅专栏
使用 NVIDIA TensorRT 的量化感知训练实现 INT8 推理的 FP32 精度
如果想成为中心，那么就到中心去吧。
11-26 1249
深度学习正在彻底改变行业提供产品和服务的方式。这些服务包括用于计算机视觉的对象检测、分类和分割，以及用于基于语言的应用程序的文本提取、分类和摘要。这些应用程序必须实时运行。 大多数模型都采用浮点 32 位算法进行训练，以利用更宽的动态范围。但是，在推理时，与降低精度的推理相比，这些模型可能需要更长的时间来预测结果，从而导致实时响应的一些延迟，并影响用户体验。 在许多情况下，最好使用降低精度或 8 位整数。挑战在于，在训练后简单地对权重进行四舍五入可能会导致模型精度较低，尤其是当权重具有较宽的动态范围时。这.
fp32和int8模型的区别_从TensorRT看INT8量化原理
weixin_40003451的博客
12-20 3004
1 Low Precision Inference现有的深度学习框架 比如：TensorFlow，pytorch，Caffe， MixNet等，在训练一个深度神经网络时，往往都会使用 float 32(Full Precise ，简称FP32)的数据精度来表示，权值、偏置、激活值等。但是如果一个网络很深的话，比如像VGG，ResNet这种，网络参数是极其多的，计算量就更多了(比如VGG 19.6 ...
TensorRT：INT8量化加速原理与问题解析
yitiaoxiaolu的博客
02-28 3108
本文将首先介绍INT8量化的基础知识，解答一些关于INT8的基础问题，然后介绍三种常见的INT8量化算法，包括动态对称量化、动态非对称量化、静态对称量化，最后介绍一个在TensorRT中实现INT8量化的例子：MNIST手写数字识别的INT8_PTQ量化。
YOLO系列模型の部署、精度对齐与int8量化加速
whaosoft143ai的博客
11-02 210
在基于PytorchQuantization导出的含有QDQ节点的onnx时，我们发现尽管量化版本的torch模型精度很高，但是在TensorRT部署时精度却很低，TRT部署收精度损失很严重，通过可视化其他量化形式的engine和问题engine进行对比，我们发现是一些层的int8量化会出问题，由此找出问题量化节点解决。在此过程中我们发现，由于TopK算子限制和NMS算子实现上的不同，我们无法完全对齐torch和yolo模型的精度，不过这种风险是可解释且可控的。whaosoft aiot http://14
TensorRT 中的 INT8
最新发布
luoganttcc的博客
10-19 1092
在处理隐式量化网络时，TensorRT 在应用图形优化时将模型视为浮点模型，并适时的使用 INT8 来优化层执行时间。在这种模式下，TensorRT 仅针对性能进行优化，您几乎无法控制 INT8 的使用位置——即使您在 API 级别明确设置层的精度，TensorRT 也可能在图优化期间将该层与另一个层融合，并丢失它必须在 INT8 中执行的信息。这在多次构建相同的网络时非常有用，例如，在多个平台上 – 特别是，它可以简化工作流程，在具有离散 GPU 的机器上构建校准表，然后在嵌入式平台上重用它。
TensorRT-Int8量化详解
m0_71124168的博客
07-04 1657
Int8量化类似于一个黑盒子，有一点蒸馏的感觉，用int8逼近fp32的推理结果。我们只需要按照步骤设定好参数之后set就可以，并不需要特别关注于他是怎么修改权重的。
7.TensorRT中文版开发教程-----TensorRT中的INT8量化详解
专注于人工智能领域的小何尚
04-30 1万+
7. 如何使用TensorRT中的INT8 点击此处加入NVIDIA开发者计划 7.1. Introduction to Quantization TensorRT 支持使用 8 位整数来表示量化的浮点值。量化方案是对称均匀量化 - 量化值以有符号 INT8 表示，从量化到非量化值的转换只是一个乘法。在相反的方向上，量化使用倒数尺度，然后是舍入和钳位。 要启用任何量化操作，必须在构建器配置中设置 INT8 标志。 7.1.1. Quantization Workflows 创建量化网络有两种工作流程： 训
tensorRT笔记九(int8量化)
nanjono的博客
06-16 784
实现int8熵校准器(Int8EntropyCalibrator类)，继承自属于nvinfer1的IInt8EntropyCalibrator2类，覆盖其中的一些函数，实现自己的需求。writeCalibrationCache：标定结束后，调用该函数，储存标定后的结果，多次标定可以使用该缓存实现加速。getBatch：告诉引擎，这次标定的输入数据是什么，把指针赋值给bindings，返回false说明已没有数据了。getBatchSize：告诉引擎，这次标定的batch大小。配置int8标定数据读取工具。
TensorRT INT8 量化原理和实现
Levante_ceo的博客
03-06 2201
模型量化 = 模型 + 量化，两个词组成。在计算机视觉（深度学习）中，模型特指卷积神经网络，用于提取图像/视频特征。量化：将信号的连续取值近似为有限多个离散值的过程，即信息压缩的方法。常规精度一般使用FP32（32位浮点，单精度）存储模型权重；低精度（FP16，半精度浮点）；INT8（8位的定点整数）等数字格式。目前，低精度往往指代INT8，因此也称为“定点化（定点化指scale为2的幂次方线性量化，是一种更加实用的量化方法）”
算法部署-基于TensorRT+INT8量化加速的YOLOX目标检测算法的部署+项目源码-优质项目分享.zip
05-09
本项目旨在利用TensorRT和INT8量化加速技术，将YOLOX算法部署到实际应用中，提高其运行速度和效率。TensorRT是一款由NVIDIA推出的高性能深度学习推理（Inference）优化器和运行时，它能够对模型进行快速的编译，以在...
基于python的tensorrt int8 量化yolov5 onnx模型实现
03-26
基于python的tensorrt int8 量化yolov5 onnx模型实现
EfficientNetv2_TensorRT_int8:EfficientNetv2 TensorRT int8
04-07
EfficientNetv2_TensorRT_int8 EfficientNetv2模型实现来自 环境配置 ubuntu：18.04 cuda：11.0 cudnn：8.0 tensorrt：7.2.16 OpenCV：3.4.2 cuda，cudnn，tensorrt和OpenCV安装包可以从如下链接下载: 链接: 密码: b88e cuda安装 如果系统有安装驱动，运行如下命令卸载 sudo apt-get purge nvidia* 禁用nouveau，运行如下命令 sudo vim /etc/modprobe.d/blacklist.conf 在末尾添加 blacklist nouveau 然后执行 sudo update-initramfs -u chmod +x cuda_11.0.2_450.51.05_linux.run sudo ./cuda_11.0.2_450.5
【TensorRT】TensorRT的INT8校准原理
01-06
INT8校准就是原来用32bit（float32）表示的tensor现在用8bit来表示，并且要求精度不能下降太多。 将FP32转换为 INT8的操作需要针对每一层的输入tensor和网络学习到的参数进行。 但是不同网络结构的不同layer的激活值分布很不一样，因此合理的量化方式。应该适用于不同的激活值分布，并且减小信息损失。 使用相对熵（也叫KL散度）来衡量不同的INT8分布与原来的FP3F2分布之间的差异程度。 确定每一层的|T|值的过程称为校准。方法是从验证集选取一个子集作为校准集，校准集应该具有代表性，多样性，最好是验证集的一个子集，不应该只是分类类别的一小部分。激活值分布就是从校准
yolov8使用tensorRT进行c++部署
01-29
6. **性能调优**：TensorRT提供了一些API来进一步优化性能，例如通过设置工作区大小、选择不同的精度模式（如FP16或INT8量化）等。 在`zy_Xray_inspection`项目中，可能包含了实现上述步骤的具体代码示例和资源。...
基于TensorRT与INT8量化的YOLOX目标检测部署
整个压缩包包含完整的项目源码，适用于想要将YOLOX算法部署到生产环境，并希望利用TensorRT和INT8量化技术提升模型性能的研究者和工程师。文件中应该包含模型转换的脚本、配置文件、相关的依赖库说明以及可能的部署...
TensorRT INT8量化原理与实现（非常详细）
热门推荐
Nicholson的博客
11-05 3万+
模型量化是什么？ 模型量化是由模型、量化两个词组成。我们要准确理解模型量化，要看这两个词分别是什么意思。 在计算机视觉、深度学习的语境下，模型特指卷积神经网络，用于提取图像/视频视觉特征。 量化是指将信号的连续取值近似为有限多个离散值的过程。可理解成一种信息压缩的方法。在计算机系统上考虑这个概念，一般用“低比特”来表示。也有人称量化为“定点化”，但是严格来讲所表示的范围是缩小的。定点化特指scale为2的幂次的线性量化，是一种更加实用的量化方法。 .........
tensorrt-int8量化介绍
hello_dear_you的博客
12-06 4111
0. 背景-为什么要做量化 尽管近几年来，模型的size在不断的压缩，但是计算量（通常几百MFLOPs左右）对于移动端还是很大。由于每个层的权重参数范围基本确定（BatchNorm），且波动不大，适合量化压缩。量化能减少访存和计算量。 1. 量化的原理 1.1 量化本质 1.2 量化原理-最大值映射 1.3饱和截断映射 2.TensorRT的INT8量化 2.1 模型选择 2.2 工作流程 3. 基于TensorRT的Python API实例 3.1 需要注...
利用TensorRT实现INT8量化感知训练QAT
ZONGXP的博客
10-22 9157
深度学习正在彻底改变行业提供产品和服务的方式。这些服务包括用于计算机视觉的对象检测、分类和分割，以及用于基于语言的应用程序的文本提取、分类和摘要。这些应用程序必须实时运行。 大多数模型都采用浮点 32 位算法进行训练，以利用更大的动态范围。然而，在推理时，这些模型可能需要更长的时间来预测结果相比，精度降低推理，造成一些延迟的实时响应，并影响用户体验。 在许多情况下，最好使用精度降低的整数或 8 位整数。挑战在于训练后简单地四舍五入权重可能导致较低的模型精度，特别是当权重具有较大的动态范围时。本文简单..
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

@BangBang

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值