TensorRT笔记(11)使用量化网络

最新推荐文章于 2024-04-01 23:54:11 发布
最新推荐文章于 2024-04-01 23:54:11 发布
阅读量665 收藏 2
点赞数
分类专栏： TensorRT-部署-加速
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33287871/article/details/113788834
版权
本文详细介绍了如何使用TensorFlow进行量化意识训练（QAT），并将其转换为ONNX量化模型，最后在TensorRT中导入和运行这些量化模型。重点讨论了量化张量的范围限制、对称量化以及TensorFlow到ONNX的转换过程。
摘要由CSDN通过智能技术生成

使用量化网络

10.使用量化网络

量化网络由显式量化和反量化节点组成，以便将张量从FP32转换为INT8，反之亦然。
NVIDIA®TensorRT™支持带有QuantizeLinear和DequantizeLinear节点的量化ONNX模型。
量化张量x

y = saturate((x / y_scale) + y_zero_point), where y ∈ [-128, 127]

消除张量x

y = (x - x_zero_point) * x_scale

TensorRT仅支持[-128，127]范围内的INT8激活和[-127，127]范围内的INT8权重。由于遗留原因，权重的范围与激活的范围略有不同。此外，zero_point必须为0，因为TensorRT仅支持对称量化。

<
了解本专栏 订阅专栏 解锁全文 超级会员免费看
yhwang-hub
关注
专栏目录
订阅专栏
TensorRT笔记(12)使用DLA
qq_33287871的博客
02-11 2227
使用DLA11.使用DLA11.1 在TensorRT推理期间在DLA上运行11.1.1 示例：带有DLA的sampleMNIST11.1.2 示例：在网络创建期间为层启用DLA模式11.2 DLA支持的层11.3 GPU后备模式 11.使用DLA NVIDIA®DLA™（深度学习加速器）是用于深度学习操作的固定功能加速器引擎。 DLA旨在进行卷积神经网络的完整硬件加速。 DLA支持各种层，例如卷积，解卷积，完全连接，激活，合并，批处理规范化等。 有关NVIDIA®TensorRT™层中DLA支持的更多信息
TensorRT笔记(5)使用自定义层扩展TensorRT
qq_33287871的博客
02-07 647
4.使用自定义层扩展TensorRT4.使用自定义层扩展TensorRT4.1 使用C ++ API添加自定义层4.1.1 示例：使用C ++添加自定义层4.1.2 示例：使用C ++添加Caffe不支持的自定义层4.1.3 示例：使用C ++添加UFF不支持的自定义层4.1.4 示例：使用C ++添加具有动态形状支持的自定义图层4.1.5 示例：使用C ++添加具有INT8 I / O支持的自定义层4.1.6 示例：使用C ++ API实现GELU运算符4.2 使用Python API添加自定义图层4.
TensorRT推理加速
05-07
TensorRT Python API的使用，8bits量化，语义分割方面的应用。
TensorFlow 1.0.0rc1上玩量化神经网络 ——转自 慢慢学TensorFlow 微信公众号
dxmkkk的博客
02-07 4075
注 这里的量化不是指“量化交易（Quantitative trade）”，而是 Quantization ，即离散化，注意是否走错片场。 前言 开发神经网络时最大的挑战是让它真正起作用，训练时一般希望速度越快越好，准确率越高越好。使用浮点算法是保持结果精确最简单的方式，GPU 拥有加速浮点算法的库，所以很自然地，不需要过多关注其他数值格式。
网络模型量化(低比特量化)-----学习笔记
weixin_43391596的博客
02-11 1873
网络模型量化(低比特量化)-----学习笔记
手把手教你量化网络（2）权重参数的量化
一名FPGA芯片设计爱好者的技术博客
04-04 2028
我是 雪天鱼，一名FPGA爱好者，研究方向是FPGA架构探索和数字IC设计。 关注公众号【集成电路设计教程】，获取更多学习资料，并拉你进“IC设计交流群”。 QQIC设计&FPGA&DL交流群 群号：866169462。 文章目录一、量化算法1.1 K-Means二、算法代码实现1.1 K-Means代码实现 一、量化算法 1.1 K-Means 将一堆二维样本表示在坐标轴上，如下图左图所示： 若我们将其用K-Means分为3类，如上图右侧所示，分为了绿、蓝和橙三类，还会告诉我们每类的聚类
【模型量化】神经网络量化基础及代码学习总结
我的技术栈碎碎念空间
12-08 3758
量化是减少神经网络计算时间和能耗的最有效的方法之一。在神经网络量化中，权重和激活张量存储在比训练时通常使用的16-bit或32-bit更低的比特精度。当从32-bit降低到8-bit，存储张量的内存开销减少了4倍，矩阵乘法的计算成本则二次地减少了16倍。神经网络已被证明对量化具有鲁棒性，这意味着它们可以被量化到较低的位宽，而对网络精度的影响相对较小。然而，神经网络的量化并不是自由的。低位宽量化会给网络带来噪声，从而导致精度的下降。
TensorRT-8量化分析
吴建明wujianming_110117
03-17 2228
TensorRT-8量化分析 本文讲非对称量化、量化方式等等一些细节，不过有一段时间在做基于TensorRT的量化，需要看下TensorRT的量化细节。这次文章是偏实践的一篇，主要过一下TensorRT对于explict quantization的流程和通用的量化思路。 01 0x01 TensorRT量化 都2022年了，量化技术已经很成熟了，各种量化框架[1]和量化算法层出不穷。之前接触过几个量化框架，大部分都是在算法层面模拟一下，实际上无法直接部署到具体的硬件层，也只是停留在算法的层面。而现在成熟的量
Tensorrt笔记（二）python 测试
juluwangriyue的博客
06-19 351
TensorRT是英伟达针对自家平台做的加速包，TensorRT主要做了这么两件事情，来提升模型的运行速度。tensorRT的配置是很简单的，官网注册，填调查问卷，就可以下载了,笔者用的是TensorRT-7.0.0.11.CentOS-7.6.x86_64-gnu.cuda-9.0.cudnn7.6.tar.gz版本，到存放目录直接解压，配置一下lib下各种编译好的包，还有很重要的cuda环境。 然后pip安装解压后python 目录下的合适版本的python-tensorrt，pip安装pycuda。i
神经网络量化：从实用工具到高级框架
AI天才研究院
12-27 669
1.背景介绍 神经网络量化(Neural Network Quantization)是一种将深度学习模型从浮点数到整数表示的过程。这种技术在模型部署到边缘设备(如智能手机、智能汽车等)时非常有用，因为整数表示需要较少的内存空间和计算资源，从而提高了性能和效率。 在过去的几年里，神经网络量化技术得到了广泛的关注和研究，许多高级框架(如TensorFlow Lite、PyTorch Mobile和...
Tensorrt nvidia加速推理源码
06-18
This repository contains the Open Source Software (OSS) components of NVIDIA TensorRT. Included are the sources for TensorRT plugins and parsers (Caffe and ONNX), as well as sample applications demonstrating usage and capabilities of the TensorRT platform.
快速入门使用tensorRT进行推理
最新发布
ueke1的博客
04-01 1503
GPU计算时间、排队时间和设备到主机延迟也是在特定场景下需要重点关注的指标，尤其是在计算密集和数据密集型的应用中。batch_size = 64时, througphout = 32613.9 qps,media latency = 0.017334 ms。batch_size 在 ONNX 中会经常设置为动态的, 然后在使用 tensorRT 推理时可以动态指定。随着batch_size的增大，系统吞吐量会下降，平均延迟有所增大。下面看不同batch_size, trt engine的推理时间。
TensorRT 下不同 API 推理时间的对比实验
zi_y_uan的博客
05-20 1万+
主要对比TensoRT C++ api、python api，在onnxparser和原生api构建网络方面的加速效果
TensorRT量化实战课YOLOv7量化：pytorch_quantization介绍
周同学的博客
10-29 3838
TensorRT量化实战课YOLOv7量化：pytorch_quantization介绍
真香！一文全解TensorRT-8的量化细节
lu_linux的博客
04-10 831
到这里关于QDQ的说明就结束了，通过上述例子，不难认为下面红色圈圈内的OP精度都可以为INT8。显式指定量化op因为QDQ是显式量化，所以QDQ的放置位置很重要，有几点规则：这里就不转述了，原文看起来更准确些，这些内容之后可能也会更新。再详细点，我们举个实际的例子。
模型量化：PTQ + onnx
ResumeProject的博客
03-12 1603
将 32 位浮点(实数)模型转换为 8 位整数模型
YOLOv7-QAT量化部署(转载)
秋末雨微凉的博客
03-19 499
YOLOv7-PTQ量化部署。QAT（Quantization Aware Training）即训练中量化也叫显式量化。
【TensorRT】2、神经网络中的量化
呆呆的猫的博客
11-18 4221
本文主要介绍神经网络在部署时的量化
7.TensorRT中文版开发教程-----TensorRT中的INT8量化详解
热门推荐
专注于人工智能领域的小何尚
04-30 1万+
7. 如何使用TensorRT中的INT8 点击此处加入NVIDIA开发者计划 7.1. Introduction to Quantization TensorRT 支持使用 8 位整数来表示量化的浮点值。量化方案是对称均匀量化 - 量化值以有符号 INT8 表示，从量化到非量化值的转换只是一个乘法。在相反的方向上，量化使用倒数尺度，然后是舍入和钳位。 要启用任何量化操作，必须在构建器配置中设置 INT8 标志。 7.1.1. Quantization Workflows 创建量化网络有两种工作流程： 训
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yhwang-hub

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值