AI模型部署-TensorRT模型INT8量化的Python实现

最新推荐文章于 2025-02-25 17:13:41 发布
最新推荐文章于 2025-02-25 17:13:41 发布
阅读量2.3k 收藏 32
点赞数 4
分类专栏： 自动驾驶与深度学习 文章标签： 人工智能 深度学习 目标检测 自动驾驶
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44613415/article/details/131850160
版权

AI模型部署：TensorRT模型INT8量化的Python实现

本文首发于公众号【DeepDriving】，欢迎关注。

概述

目前深度学习模型的参数在训练阶段基本上都是采用32位浮点（FP32）来表示，以便能有更大的动态范围用于在训练过程中更新参数。然而在推理阶段，采用FP32的精度会消耗较多的计算资源和内存空间，为此，在部署模型的时候往往会采用降低模型精度的方法，用16位浮点（FP16）或者8位有符号整型（INT8）来表示。从FP32转换为FP16一般不会有什么精度损失，但是FP32转换为INT8则可能会造成较大的精度损失，尤其是当模型的权重分布在较大的动态范围内时。

虽然有一定的精度损失，但是转换为INT8

了解本专栏 订阅专栏 解锁全文 超级会员免费看
利用Tensorrt实现int8量化
@bangbang的博客
09-18 2082
int8量化是利用int8乘法替换float32乘法实现性能加速的一种方法1.对于常规的模型有:y=kx+b,此时x,k,b都是float32,对于kx的计算使用float32的乘法2.对于int8模型有:y=tofp32(toint8(k)toint8(x))+b,其中int8int8结果为int 163 因此int8模型解决的问题是如何将float32合理转换为int8（合理的方法包括：KL散度，重新训练等），使得精度损失最小。
python int32 int8_Int8量化-介绍（一）
weixin_39609170的博客
12-15 2480
前 言本系列的目是详细叙述当前移动端Int8的方方面面，从最底层的Int8的汇编层实现原理以及汇编性能优化手段，到中间层的移动框架的配套代码实现(标准就以NCNN为例吧)，以及上层对应的PC端量化方法(各种论文思路)总结及实现，和最后模型端re-train的方法、策略及指标介绍。此外，利用PowerPerf(一种专门针对ARM CPU应用性能优化而开发的调试工具)对卷积kernel(汇编算子)各项...
7.TensorRT中文版开发教程-----TensorRT中的INT8量化详解
热门推荐
专注于人工智能领域的小何尚
04-30 1万+
7. 如何使用TensorRT中的INT8 点击此处加入NVIDIA开发者计划 7.1. Introduction to Quantization TensorRT 支持使用 8 位整数来表示量化的浮点值。量化方案是对称均匀量化 - 量化值以有符号 INT8 表示，从量化到非量化值的转换只是一个乘法。在相反的方向上，量化使用倒数尺度，然后是舍入和钳位。 要启用任何量化操作，必须在构建器配置中设置 INT8 标志。 7.1.1. Quantization Workflows 创建量化网络有两种工作流程： 训
TensorRT INT8 量化原理和实现
Levante_ceo的博客
03-06 2638
模型量化 = 模型 + 量化，两个词组成。在计算机视觉（深度学习）中，模型特指卷积神经网络，用于提取图像/视频特征。量化：将信号的连续取值近似为有限多个离散值的过程，即信息压缩的方法。常规精度一般使用FP32（32位浮点，单精度）存储模型权重；低精度（FP16，半精度浮点）；INT8（8位的定点整数）等数字格式。目前，低精度往往指代INT8，因此也称为“定点化（定点化指scale为2的幂次方线性量化，是一种更加实用的量化方法）”
在量化中，bf16、fp16、fp32、int8的含义
最新发布
yxx122345的博客
02-25 1568
精度格式位数动态范围精度优点缺点用途fp3232大高高精度，广泛支持内存和计算开销大训练和推理fp1616中中减少内存占用，加速训练和推理精度较低，可能溢出或下溢混合精度训练，推理加速bf1616大中低动态范围大，适合训练精度较低深度学习训练（如TPU）int88小低显著减少内存占用，加速推理精度损失较大边缘设备推理int44很小极低极低内存占用精度损失非常大超低功耗设备。
较为详细的记录总结TensorRT的python接口的使用，环境配置，模型转换和静态动态模型推理
CaiDou的博客
01-31 1万+
先来一段摘抄自网上的TensorRT介绍： TensorRT是英伟达针对自家平台做的加速包，TensorRT主要做了这么两件事情，来提升模型的运行速度。 TensorRT支持INT8和FP16的计算。深度学习网络在训练时，通常使用 32 位或 16 位数据。TensorRT则在网络的推理时选用不这么高的精度，达到加速推断的目的。 TensorRT对于网络结构进行了重构，把一些能够合并的运算合并在了一起，针对GPU的特性做了优化。现在大多数深度学习框架是没有针对GPU做过性能优化的，而英伟达，GPU的生
使用Python部署TensorRT
wq_0708的博客
11-11 8264
使用Python API构建TensorRT engine
方舟原始恐惧代码_Int8量化 - python实现以及代码分析（二）
weixin_39849762的博客
11-22 2940
首先答疑一下上篇留言的问题：@refezh 求T时，为啥不是从0所在的bin开始左右尝试，而是从-max开始向前尝试？评论区回答啦~本主要就是讲解下校准算法实现里面的一些细节及个人的一些思考，章节安排如下：文中也许出现了纰漏，发现了烦请告知哈～互相学习[握手]一、量化的本质二、校准算法流程回顾（就ppt中的一些点提出疑问，从而引出接下来我们要解答的一些问题）三、获取激活值的概率分布四、最大值映射会...
TensorRT-Int8量化详解
m0_71124168的博客
07-04 2095
Int8量化类似于一个黑盒子，有一点蒸馏的感觉，用int8逼近fp32的推理结果。我们只需要按照步骤设定好参数之后set就可以，并不需要特别关注于他是怎么修改权重的。
TensorRT INT8 量化YOLO模型—— python
old_power的博客
01-23 638
TensorRT 是 NVIDIA 提供的高性能深度学习推理库，支持 INT8 量化以加速模型推理。TensorRT 支持从 ONNX 格式的模型进行量化。首先需要将 YOLO 模型导出为 ONNX 格式。
TensorRT INT8 量化YOLO模型—— trtexec
old_power的博客
01-23 1415
TensorRT 提供了 `trtexec` 工具，可以方便地将模型转换为 TensorRT 引擎，并支持 INT8 量化。`trtexec` 是一个命令行工具，适用于快速测试和部署模型，尤其适合对 ONNX 或 UFF 格式的模型进行量化和优化。
Python-基于NVIDIATensorRT利用来自TensorFlow模型的进行图像分类
08-11
基于NVIDIA TensorRT利用来自TensorFlow模型的进行图像分类
基于python的tensorrt int8 量化yolov5 onnx模型实现
03-26
基于python的tensorrt int8 量化yolov5 onnx模型实现
tensorRT的python接口用pycuda的wheel安装包
05-11
tensorRT的python接口用pycuda的wheel安装包,pycuda-2021.1+cuda115-cp39-cp39-win32及64
基于tensorrt int8量化yolov5 onnx模型并实现推理python源码(加速推理)+操作说明.zip
09-05
基于tensorrt int8量化yolov5 onnx模型并实现推理python源码(加速推理)+操作说明.zip 环境配置 ubuntu：18.04 cuda：11.0 cudnn：8.0 tensorrt：7.2.16 OpenCV：3.4.2 cuda，cudnn，tensorrt和OpenCV...
Triton Inference Server部署Meta-Llama-3-8B-Instruct大模型TensorRT-LLM量化后端服务详细命令和代码
guiwenming的博客
10-02 1438
最近准备用Triton Inference Server部署llama3大模型，苦于资料很少，听了多次NVIDIA的课程，查阅了很多中英文资料，经过多次尝试，终于大告成功。此文章整理全部部署过程，分享成果。
TensorRT 模型加速 1-输入、输出、部署流程
黎国溥
04-07 6247
前言 本文首先简要介绍 Tensor RT 的输入、输出以及部署流程，了解 Tensor RT 在部署模型中起到的作用。然后介绍 Tensor RT 模型导入流程，针对不同的深度学习框架，使用不同的方法导入模型。 一、TensorRT 简介 训练主要是获得层与层之间的权重参数，目的是为了获得一个性能优异的模型，关注点集中在模型的准确度、精度等指标。 推理（inference）则不一样，其没有了训练中的反向迭代过程，只是针对新的数据进行预测。 相较于训练，推理的更关注的是部署简单、处理速度快、
AI大模型量化
2401_85378759的博客
06-19 1245
AI大模型量化是一种优化模型大小和计算效率的方法。它通过减少模型参数和降低模型精度，从而在保持相对较高性能的同时，降低了模型的存储需求和计算开销。
模型量化技术-INT8
qq_44653420的博客
09-09 956
模型量化技术-INT8
tensorrt量化INT8校准
01-09
### TensorRT INT8 Quantization Calibration Guide and Best Practices #### Understanding the Need for INT8 Quantization Post-training quantization (PTQ) transforms a trained model's weights from high precision formats like 32-bit floating point to lower precisions such as 8-bit integers. This process aims at reducing storage requirements, accelerating inference speed, and decreasing hardware costs while maintaining prediction accuracy[^3]. For TensorRT specifically, performing INT8 quantization involves calibrating the network so that it can operate effectively using only integer arithmetic operations instead of floating-point ones. #### Preparing Data for Calibration To perform accurate calibration, one must prepare representative data samples which closely resemble real-world inputs encountered during deployment. These datasets should cover all possible variations expected within actual operational conditions without being too large or small. ```python import numpy as np def load_calibration_data(): # Load your dataset here. pass calibration_dataset = load_calibration_data() ``` #### Implementing Custom Calibrator Class A custom `IInt8EntropyCalibrator` class needs implementation according to NVIDIA’s guidelines provided in their official documentation. The following code snippet demonstrates how this could be done: ```cpp #include "NvInfer.h" using namespace nvinfer1; class EntropyCalibrator : public IInt8EntropyCalibrator { public: explicit EntropyCalibrator(int batchSize, const std::string& inputBlobName); private: virtual int getBatchSize() const override; virtual bool getBatch(void* bindings[], const char* names[], int nbBindings) override; virtual const void* readCalibrationCache(size_t& length) override; virtual void writeCalibrationCache(const void* cache, size_t length) override; // Members... }; ``` This allows developers to define specific behaviors related to loading batches of images into device memory buffers before passing them through forward passes required by TensorRT for collecting statistics used later on when determining optimal scaling factors applied across layers inside networks undergoing conversion processes towards more efficient representations suitable for embedded systems where power consumption plays an important role alongside computational efficiency considerations. #### Setting Up Network Configuration When configuring the builder settings prior to building engines optimized for target platforms supporting INT8 computations, ensure enabling flags associated explicitly with post-training dynamic range estimation procedures via API calls available under respective versions released periodically by Nvidia Corporation regarding its deep learning software development kit offerings targeting both desktop-grade GPUs along with mobile SoCs equipped with dedicated tensor cores capable enough even handling complex workloads efficiently thanks largely due advancements made over recent years concerning architectural improvements introduced throughout successive generations launched commercially since inception back then until now continuously evolving ever since then up till present day standards observed today widely adopted industry-wide among various sectors ranging from automotive manufacturers integrating autonomous driving capabilities directly onto vehicles themselves down consumer electronics companies producing smart home devices powered primarily off battery packs lasting longer periods between charges because reduced energy footprint achieved partly through leveraging these technologies developed originally intended mainly but not limited solely toward gaming applications initially though expanded far beyond original scope envisioned early stages eventually leading us here discussing current state-of-the-art methods employed commonly nowadays whenever someone mentions terms like 'AI'/'ML'. ```cpp builder->setInt8Mode(true); builder->setInt8Calibrator(calibrator.get()); ``` By setting appropriate parameters correctly based upon project-specific constraints imposed externally either internally defined policies followed strictly adhered consistently throughout entire lifecycle management phases starting conceptual design phase moving forward progressively reaching final production release stage ready distribution channels awaiting end-users eagerly anticipating new features added regularly keeping pace rapid innovation cycles experienced frequently witnessed modern tech landscape characterized intense competition pushing boundaries constantly striving achieve greater heights never seen before imagined previously thought impossible mere decades ago yet realized tangible form products services transforming everyday lives positively impacting society overall contributing meaningful ways enhancing quality life experiences shared globally interconnected world wide web connecting people places ideas together seamlessly bridging gaps once existed creating opportunities collaboration exchange knowledge freely accessible anyone anywhere anytime desired convenient manner suited individual preferences lifestyles choices respecting cultural differences embracing diversity inclusion fostering environments promoting creativity exploration discovery endless possibilities await those willing embrace change adapt grow stronger united common goal better future everyone involved stakeholders alike. --related questions-- 1. What are some key challenges faced during the transition from FP32 models to INT8? 2. How does choosing different types of calibration algorithms affect the outcome of PTQ? 3. Can you provide examples of scenarios where INT8 quantized models outperform their full-precision counterparts? 4. Are there any tools recommended for profiling and analyzing the impact of quantization on neural network performance?
评论 31
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

DeepDriving

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值