一个demo了解TensorRT的PTQ和QAT

已于 2024-08-19 10:41:52 修改
阅读量40 收藏
点赞数
分类专栏： 量化_Onnx_TensorRT 文章标签： python 人工智能 持续部署
于 2024-08-17 00:42:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35435798/article/details/141272390
版权

文章目录

一. 背景介绍

​ 模型开完并训练完成之后，为了部署到嵌入式设备，往往需要进行量化，以减少模型推理时的资源消耗，加快模型的推理速度。本教程仅针对TensorRT框架，使用TensorRT的python接口，进行量化相关的PTQ和QAT的介绍。本教程默认读者已经熟悉量化相关的基础概念（如量化QuantizeLinear和反量化DequantizeLinear算子），了解量化的过程需要完成的基本动作，如量化算子对模型节点进行精度变化（比如FP32->FP16，FP16->INT8）。相关的基础学习可以参考：

了解本专栏 订阅专栏 解锁全文 超级会员免费看
天亮换季
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
订阅专栏
TensorRT量化模型分析（耗时分布可视化等）
qq_35435798的博客
09-05 108
又难以解决掉点问题，则我们往往会分析模型的不同模块，找到哪个模块量化后导致掉点严重，然后这些模块将不再被插入量化算子，保持其原始的模型结构。无论哪种方式，都不可避免要进行模型耗时分析，比如，了解模型某个模块甚至某个节点的耗时情况，才能更加精确的指导模型缩减耗时的方向。文件（笔者这里仅写结论，具体内容可以由读者进入该脚本文件中阅读代码），该文件具体执行的动作，可以分解为以下所述内容。会看到如下图示，点击左上角的选项，能选择各类对比分析，比如不同精度计算量的占比，即可，根据问题，补充依赖包，完成安装。
TensorRT安装记录（8.2.5）
热门推荐
霹雳吧啦Wz
09-20 1万+
根据官方对于TensorRT的介绍可知，TensorRT是一个针对已训练好模型的SDK，通过该SDK能够在NVIDIA的设备上进行高性能的推理。那么TensorRT具体会对我们训练好的模型做哪些优化呢
模型量化：PTQ + onnx
ResumeProject的博客
03-12 1492
将 32 位浮点(实数)模型转换为 8 位整数模型
Deep Learning-3 深度学习-quant-2
weixin_42914706的博客
06-27 627
加入了权重的缩放系数的优化变量，导致了多变量优化问题。把一个 layer 的激活值范围的给圈出来，然后按照绝对值最大值作为阈值（因此当正负分布不均匀的时候，是有一部分是空缺的，部分值域被浪费，正负值的绝对值最大值相差较大），然后把这个范围直接按比例给映射到正负128的范围内来，即为int8的范围；量化的目的就是把训练得到的 FP32 的浮点数卷积操作，转换为 INT8 的卷积操作，这样计算就变成了原来的 1/4，最本质的操作 max-max 映射如下图，也叫不饱和映射（No saturation）；
想要的AI部署前沿技术都在这里了！
老潘的博客
08-15 1306
不得不相信英伟达总能给我们惊喜，老潘作为一名深度学习从业者以及游戏爱好者，对于这种与AI、GPU、并行计算相关的话题一直都是比较感兴趣。作为深度学习第一大硬件平台的英伟达，我们自然熟悉的不能再熟悉了。 英伟达的硬件足够优秀，但也需要足够的软件开发者去支撑才能真正的令其发展起来，对此英伟达是“上心的”。因为毕竟只有大家都用、大家都觉着好用、你也觉着好用，你才会用英伟达的产品，才会用它的GPU去做一些你感兴趣的事情(当然英伟达就可以卖钱啦)。 这也就是生态。 其实用了比较长时间英伟达的产品(显卡、嵌入式版本系
一文详解AI模型部署及工业落地方式
3D视觉工坊
06-29 2944
点击上方“3D视觉工坊”，选择“星标”干货第一时间送达Hello大家好，我是老潘，好久不见各位~最近在复盘今年上半年做的一些事情，不管是训练模型、部署模型搭建服务，还是写一些组件代码等，零...
老潘的AI部署以及工业落地学习之路
老潘的博客
08-08 1715
Hello我是老潘，好久不见各位。 最近在复盘今年上半年做的一些事情，不管是训练模型、部署模型搭建服务，还是写一些组件代码，零零散散是有一些产出。 虽然有了一点点成果，但仍觉着缺点什么。作为深度学习算法工程师，训练模型和部署模型是最基本的要求，每天都在重复着这个工作，但偶尔静下心来想一想，还是有很多事情需要做的： 模型的结构，因为上线业务需要，更趋向于稳定有经验的，未探索一些新的结构 模型的加速仍然不够，还没有压榨完GPU的全部潜力 深感还有很多很多需要学习的地方啊。 既然要学习，那么学习路线就显得比
（24）目标检测算法之YOLOv6 (2)量化与部署详解
yohnyang的博客
07-02 2006
目标检测算法之YOLOv6 量化与部署详解
“全网最全”LLM推理框架集结营 | 看似微不足道，却决定着AIGC项目的成本、效率与性能!
WZZ18191171661的博客
04-18 3496
TensorRTLLM包含用于创建执行这些TensorRT引擎的Python和C++运行时的组件。它还包括一个与NVIDIA Triton推理服务器集成的后端；为LLM服务的生产质量体系。使用TensorRT LLM构建的模型可以在各种配置上执行，从单个GPU到具有多个GPU的多个节点（使用Tensor并行性和/或管道并行性）。
yolov8 PTQ和QAT量化源码
12-09
1.使用pytorch_quantization对yolov8进行量化: 包括ptq量化、敏感层分析、qat量化 2.修改ptq、qat、敏感层分析配置参数后直接运行 python yolov8_ptq_int8.py 其中： （1） quant_flow_ptq_int8.py是PTQ int8量化...
yolov7 ptq和qat训练及tensorrt部署
09-16
总结起来，"yolov7 ptq和qat训练及tensorrt部署"涉及的关键知识点包括： - YOLOv7目标检测模型 - PTQ（Post-Training Quantization）和QAT（Quantization-Aware Training）两种模型量化技术 - TensorRT的使用，包括...
基于yolov5的PTQ和QAT量化完整代码
03-18
1. quant_flow_ptq_int8.py是PTQ int8量化脚本 2. quant_flow_qat_int8.py 是QAT int8量化脚本 3. quant_flow_ptq_sensitive_int8.py 是敏感层分析的脚本
Python基础 5 - 类、对象、注解
云端梦留白的博客
09-04 899
面向对象（Object-Oriented, OOP）是一种编程范式，它使用“对象”来设计软件，这些对象包含数据（通常称为属性或字段）和代码（通常称为方法或函数），以模拟现实世界实体的属性和行为。面向对象是一种编程方法，通过创建包含数据和行为的对象来模拟现实世界，提高代码的组织性、重用性和灵活性。在 Pyhon 中，想要使用类，必须先创建对象。class 类名称 : # class 关键字，表示定义了一个类，类首字符大写为标准。
JS都有哪些操作数组的方法
最新发布
ggq53219的博客
09-04 400
JavaScript 中操作数组的方法非常丰富，这些方法大致可以分为几类：创建和初始化数组、添加元素、删除元素、遍历数组、搜索元素、数组排序、数组映射和过滤等。
asyncio note
weixin_48232453的博客
09-03 807
python异步库asyncio入门
计算机毕业设计选题推荐-任务管理系统-项目任务分配系统-Java/Python项目实战
IT研究室的博客
09-03 782
随着信息化技术的迅猛发展，各类企业和组织越来越依赖于高效的任务管理系统以保证其日常运营的顺利进行。根据IDC（国际数据公司）发布的报告显示，全球企业在数字化转型上的投入已达数千亿美元，其中相当一部分资金用于提升企业内部的管理效率。任务管理系统作为企业信息化的重要组成部分，能有效帮助企业分配、监控和反馈任务，从而提高工作效率。然而，尽管市场上已有多种任务管理系统，它们在功能、用户体验和适用性上存在显著差异。
CUDA编程08 - 并行编程思维
GPU全栈博主-程序哥
09-02 1106
到目前为止，我们集中于学习并行编程的实用知识，包括CUDA编程接口特性、GPU架构、性能优化技术、并行模式和应用案例研究。在本章中，我们将讨论更为抽象的概念。我们将并行编程概括为一种思维过程，即设计或选择并行算法，并将一个实际问题分解基本的工作单元，这些工作单元可以由所选的算法高效地执行。具备强大思维技能的程序员不仅会分析问题，还会转变实际问题的结构：哪些部分本质上是串行的，哪些部分适合并行执行，以及将前者的部分转移到后者所涉及的一些权衡。
Python 高级特效 - 生成器 ( Generator)
weixin_48591974的博客
08-31 522
生成器是一种一边循环一边计算的机制,通过列表生成式，可以直接创建一个列表，但是受到内存的限制，列表容量是有限的，当列表元素很 大的时候，会很浪费内存空间。所以可以通过生成器 Generator 生成，它的作用相比列表，内存占用少，节约资源
yolov5 ptq和qat量化
07-28
Yolov5是一种非常流行的目标检测算法，而PTQ（Post Training Quantization）和QAT（Quantization Aware Training）是两种常见的量化技术。 量化是一种减少模型存储和计算需求的技术，可以将浮点数模型转换为固定点数或者低比特数表示。PTQ是一种离线量化技术，它是在训练后对模型进行量化。PTQ首先对模型进行训练，并将模型从浮点数转换为整数或低比特数表示。然后，使用模型的校准数据集对模型进行校准，以确定量化后的模型的精度。最后，量化模型就可以用于推理。 与此相反，QAT是在训练过程中进行的一种在线量化技术。它通过在训练过程中添加量化感知的算法来减小训练和推理之间的精度差距。在QAT过程中，模型参数和激活值都是以浮点数形式存储和计算的，但是在计算梯度和更新参数时，会使用量化的规则进行近似。通过在训练过程中模拟量化的效果，QAT可以有效地减少量化后模型的精度损失，并使得量化后的模型能够更好地保持与原始浮点数模型相似的性能。 综上所述，Yolov5的PTQ和QAT量化技术都是用于减少模型存储和计算需求的技术。PTQ是一种离线量化技术，而QAT是一种在线量化技术。根据具体的应用需求和资源限制，可以选择使用适合的量化技术对Yolov5进行优化。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值