TensorRT笔记(11)使用量化网络

最新推荐文章于 2025-02-22 11:07:06 发布
最新推荐文章于 2025-02-22 11:07:06 发布
阅读量710 收藏 2
点赞数
分类专栏： TensorRT-部署-加速
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33287871/article/details/113788834
版权
本文详细介绍了如何使用TensorFlow进行量化意识训练（QAT），并将其转换为ONNX量化模型，最后在TensorRT中导入和运行这些量化模型。重点讨论了量化张量的范围限制、对称量化以及TensorFlow到ONNX的转换过程。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

使用量化网络

10.使用量化网络

量化网络由显式量化和反量化节点组成，以便将张量从FP32转换为INT8，反之亦然。
NVIDIA®TensorRT™支持带有QuantizeLinear和DequantizeLinear节点的量化ONNX模型。
量化张量x

y = saturate((x / y_scale) + y_zero_point), where y ∈ [-128, 127]

消除张量x

y = (x - x_zero_point) * x_scale

TensorRT仅支持[-128，127]范围内的INT8激活和[-127，127]范围内的INT8权重。由于遗留原因，权重的范围与激活的范围略有不同。此外，zero_point必须为0，因为TensorRT仅支持对称量化。

<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
TensorRT推理加速
05-07
TensorRT Python API的使用，8bits量化，语义分割方面的应用。
Tensorrt nvidia加速推理源码
06-18
This repository contains the Open Source Software (OSS) components of NVIDIA TensorRT. Included are the sources for TensorRT plugins and parsers (Caffe and ONNX), as well as sample applications demonstrating usage and capabilities of the TensorRT platform.
TensorFlow 1.0.0rc1上玩量化神经网络 ——转自 慢慢学TensorFlow 微信公众号
dxmkkk的博客
02-07 4106
注 这里的量化不是指“量化交易（Quantitative trade）”，而是 Quantization ，即离散化，注意是否走错片场。 前言 开发神经网络时最大的挑战是让它真正起作用，训练时一般希望速度越快越好，准确率越高越好。使用浮点算法是保持结果精确最简单的方式，GPU 拥有加速浮点算法的库，所以很自然地，不需要过多关注其他数值格式。
tensorrt量化
最新发布
weixin_44533869的博客
02-22 160
隐式量化：精度不可控， 存在某一层那个类型快就选择那一层。隐式量化通常指的是在不修改或微调模型权重的情况下，直接对模型进行量化。这种方法依赖于校准数据集来计算量化参数（如缩放因子和零点）。由于没有对模型进行进一步的训练或微调，量化后的模型精度可能不如原始浮点模型。特点无需微调：不需要对模型进行额外的训练或调整。简单快速：由于不需要微调，整个过程相对简单且快速。精度不可控：由于没有通过微调来优化量化参数，精度损失可能会较大，尤其是在某些层中表现尤为明显。校准过程。
网络模型量化(低比特量化)-----学习笔记
weixin_43391596的博客
02-11 2107
网络模型量化(低比特量化)-----学习笔记
手把手教你量化网络（2）权重参数的量化
一名FPGA芯片设计爱好者的技术博客
04-04 2198
我是 雪天鱼，一名FPGA爱好者，研究方向是FPGA架构探索和数字IC设计。 关注公众号【集成电路设计教程】，获取更多学习资料，并拉你进“IC设计交流群”。 QQIC设计&FPGA&DL交流群 群号：866169462。 文章目录一、量化算法1.1 K-Means二、算法代码实现1.1 K-Means代码实现 一、量化算法 1.1 K-Means 将一堆二维样本表示在坐标轴上，如下图左图所示： 若我们将其用K-Means分为3类，如上图右侧所示，分为了绿、蓝和橙三类，还会告诉我们每类的聚类
【模型量化】神经网络量化基础及代码学习总结
我的技术栈碎碎念空间
12-08 4977
量化是减少神经网络计算时间和能耗的最有效的方法之一。在神经网络量化中，权重和激活张量存储在比训练时通常使用的16-bit或32-bit更低的比特精度。当从32-bit降低到8-bit，存储张量的内存开销减少了4倍，矩阵乘法的计算成本则二次地减少了16倍。神经网络已被证明对量化具有鲁棒性，这意味着它们可以被量化到较低的位宽，而对网络精度的影响相对较小。然而，神经网络的量化并不是自由的。低位宽量化会给网络带来噪声，从而导致精度的下降。
TensorRT笔记(12)使用DLA
qq_33287871的博客
02-11 2315
使用DLA11.使用DLA11.1 在TensorRT推理期间在DLA上运行11.1.1 示例：带有DLA的sampleMNIST11.1.2 示例：在网络创建期间为层启用DLA模式11.2 DLA支持的层11.3 GPU后备模式 11.使用DLA NVIDIA®DLA™（深度学习加速器）是用于深度学习操作的固定功能加速器引擎。 DLA旨在进行卷积神经网络的完整硬件加速。 DLA支持各种层，例如卷积，解卷积，完全连接，激活，合并，批处理规范化等。 有关NVIDIA®TensorRT™层中DLA支持的更多信息
TensorRT-8量化分析
吴建明wujianming_110117
03-17 2361
TensorRT-8量化分析 本文讲非对称量化、量化方式等等一些细节，不过有一段时间在做基于TensorRT的量化，需要看下TensorRT的量化细节。这次文章是偏实践的一篇，主要过一下TensorRT对于explict quantization的流程和通用的量化思路。 01 0x01 TensorRT量化 都2022年了，量化技术已经很成熟了，各种量化框架[1]和量化算法层出不穷。之前接触过几个量化框架，大部分都是在算法层面模拟一下，实际上无法直接部署到具体的硬件层，也只是停留在算法的层面。而现在成熟的量
TensorRT笔记(5)使用自定义层扩展TensorRT
qq_33287871的博客
02-07 683
4.使用自定义层扩展TensorRT4.使用自定义层扩展TensorRT4.1 使用C ++ API添加自定义层4.1.1 示例：使用C ++添加自定义层4.1.2 示例：使用C ++添加Caffe不支持的自定义层4.1.3 示例：使用C ++添加UFF不支持的自定义层4.1.4 示例：使用C ++添加具有动态形状支持的自定义图层4.1.5 示例：使用C ++添加具有INT8 I / O支持的自定义层4.1.6 示例：使用C ++ API实现GELU运算符4.2 使用Python API添加自定义图层4.
Tensorrt笔记（二）python 测试
juluwangriyue的博客
06-19 376
TensorRT是英伟达针对自家平台做的加速包，TensorRT主要做了这么两件事情，来提升模型的运行速度。tensorRT的配置是很简单的，官网注册，填调查问卷，就可以下载了,笔者用的是TensorRT-7.0.0.11.CentOS-7.6.x86_64-gnu.cuda-9.0.cudnn7.6.tar.gz版本，到存放目录直接解压，配置一下lib下各种编译好的包，还有很重要的cuda环境。 然后pip安装解压后python 目录下的合适版本的python-tensorrt，pip安装pycuda。i
神经网络量化：从实用工具到高级框架
AI天才研究院
12-27 795
1.背景介绍 神经网络量化(Neural Network Quantization)是一种将深度学习模型从浮点数到整数表示的过程。这种技术在模型部署到边缘设备(如智能手机、智能汽车等)时非常有用，因为整数表示需要较少的内存空间和计算资源，从而提高了性能和效率。 在过去的几年里，神经网络量化技术得到了广泛的关注和研究，许多高级框架(如TensorFlow Lite、PyTorch Mobile和...
快速入门使用tensorRT进行推理
ueke1的博客
04-01 1852
GPU计算时间、排队时间和设备到主机延迟也是在特定场景下需要重点关注的指标，尤其是在计算密集和数据密集型的应用中。batch_size = 64时, througphout = 32613.9 qps,media latency = 0.017334 ms。batch_size 在 ONNX 中会经常设置为动态的, 然后在使用 tensorRT 推理时可以动态指定。随着batch_size的增大，系统吞吐量会下降，平均延迟有所增大。下面看不同batch_size, trt engine的推理时间。
TensorRT 下不同 API 推理时间的对比实验
zi_y_uan的博客
05-20 1万+
主要对比TensoRT C++ api、python api，在onnxparser和原生api构建网络方面的加速效果
TensorRT量化实战课YOLOv7量化：pytorch_quantization介绍
周同学的博客
10-29 4809
TensorRT量化实战课YOLOv7量化：pytorch_quantization介绍
真香！一文全解TensorRT-8的量化细节
lu_linux的博客
04-10 963
到这里关于QDQ的说明就结束了，通过上述例子，不难认为下面红色圈圈内的OP精度都可以为INT8。显式指定量化op因为QDQ是显式量化，所以QDQ的放置位置很重要，有几点规则：这里就不转述了，原文看起来更准确些，这些内容之后可能也会更新。再详细点，我们举个实际的例子。
模型量化（3）：ONNX 模型的静态量化和动态量化
热门推荐
m0_63642362的博客
05-12 2万+
转自AI Studio，原文链接：模型量化（3）：ONNX 模型的静态量化和动态量化 - 飞桨AI Studio 1. 引入 前面介绍了模型量化的基本原理 也介绍了如何使用 PaddleSlim 对 Paddle 模型进行模型动态量化和静态量化 这次就继续介绍如下量化使用 ONNXRuntime 对 ONNX 模型进行动态量化和静态量化 2. 参考资料 官网：onnxruntime.ai 官方量化指南：Quantize ONNX Models Contents
模型量化：PTQ + onnx
ResumeProject的博客
03-12 1832
将 32 位浮点(实数)模型转换为 8 位整数模型
用Hugging Face Transformers，高效部署：多显卡量化感知训练并转换为ONNX格式的多标签分类模型
q742971636的博客
06-26 621
import os])num_labels = 5 # 根据你的标签数量修改# 设置量化配置。
深度学习PTQ后量化算法的详细解读与实践笔记
7. 后量化工具和库的使用：除了算法和理论，该系列笔记中还可能涉及到目前市场上一些流行的后量化工具和库的介绍和使用方法，例如TensorRT、TFLite等。 通过这些详细的解读和案例分析，读者可以更全面地理解深度...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yhwang-hub

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值