TensorRT：engine序列化大小不一致问题

最新推荐文章于 2024-04-27 12:09:28 发布
最新推荐文章于 2024-04-27 12:09:28 发布
阅读量782 收藏
点赞数
分类专栏： 目标检测-实现
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lilai619/article/details/112647308
版权
博客探讨了TensorRT引擎在序列化时大小变化的问题，虽然大小不一致，但不影响推理结果。官方解释称，引擎的序列化受系统状态如GPU、OS、CPU等影响，导致层实现的选择变化，故序列化不同是正常现象。
摘要由CSDN通过智能技术生成

之前序列化没有过多注意engine的大小问题，最近循环对一个模型序列化，发现大小会变化。不过经过验证，并不影响前向的推理结果。

经过查阅，找打这个解释链接，可能国内打不开该网页。同样的现象：大小不同，但结果一致。

官方的解释：序列化的时候，依赖当前的机器状态【GPU, OS/kernel, CPU, system load, available memory, etc】

更加详细的

了解本专栏 订阅专栏 解锁全文 超级会员免费看
微风❤水墨
关注
专栏目录
订阅专栏
TRT8系列—— 版本差异注意事项
TigerZ*的博客
08-17 1644
TRT8 一个大版本，8.4-、 8.5、 8.6（包含预览功能）却有很多变动，主要涉及输入输出的绑定binding接口、dynamic shape性能调优、dynamic shape 和context的绑定。
Cityengine规则：参数化建筑
12-18
城市规划和设计领域中，CityEngine是一款强大的3D城市建模软件，其核心特性在于规则参数化建筑（RPC，Rule-based Parametric Modeling）。本篇将深入探讨CityEngine的规则系统以及如何利用它来创建参数化建筑。 ...
TensorRT得到的CUDA引擎序列化以后模型大小不一样
qq_29007291的博客
01-14 868
现象 TensorRT得到的CUDA引擎序列化以后模型大小不一样。 我是从caffemodel解析生成的TensorRT-engine，发现同一个caffemodel得到的TensorRT-engine大小不一，大小每次相差几到几百KB，但是模型的检测结果一致。 疑问在于，优化过程应该不存在随机的过程，所以这个模型体积大小的变化从何而来呢？ 原因 有人遇到了类似的问题，官方给了解答（需要梯子），见下图 总的来说，生成CUDA-engine的时候，结合了你的GPU, os/kernel，cpu， 系统负载，
TensorRT模型压缩
最新发布
DeepCBW的博客
04-27 566
TensorRT 就是对训练好的模型进行优化，由于TensorRT就只包含推理优化器，优化完的网络不再需要依赖深度学习框架，可以直接通过TensorRT 部署在NVIDIA的各种硬件中。TensorRT现在已能支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架，将TensorRT和NVIDIA的GPU结合起来，能在几乎所有的框架中进行快速和高效的部署推理。这是TensorRT运行时使用的引擎对象，它包含了优化后的网络和执行推理所需的GPU代码。
关于tensorRT中遇到的几个问题
qq_17278169的博客
10-24 3811
关于tensorRT中遇到的几个问题 一、运行同一个程序，前后两次的运行结果不一样 例如运行tensorRT-SSD代码，同样的测试图片，检测出来的目标框会有轻微的抖动，但是目标还是能检测出来，不会影响精度。 二、相同的代码，相同的模型，相同的测试图片，在不同的平台上结果不一样 我在pc上的gtx1080显卡运行tensorRT代码，全部调试通过之后移植到tx2平台上运行，却发现在tx2平台上的检...
解决TensorRT同一数据每次返回结果都不一致问题
努力是为了躺平
07-21 2172
问题描述： 最近进行把TF的模型转化为UFF文件部署到TensorRT。在进行测试的时候发现一个问题，同一个数据使用TRT进行推理，但是每次结果都不一样。输出的结果本应是softmax算子输出结果， 但是输出的结果看着都是随机的，而且数值求和结果非1，而是有的非常大，有的非常小。 排查了一整天发现是因为我的日志头文件导入的顺序导致这个问题。 #include "easylogging++.h" #include "common.h" #include "buffers.h" #include "Nv
Pytorch2TensorRT:CUDA10.0，CUDNN7.5.0，TensorRT7.0.0.11
05-10
TensorRT engine”。 当前仅针对ONNX和TensorRT支持OP可进行转换，如有不支持的OP需编写插件。 News: 2020.12.10: 更新trt_convertor.py脚本，使之适用于TRT7； 软件环境： TensorRT7.0.0.11 Pytorch1.2 PIL6.2.1 ...
yolov8的onnx模型转换成tensorRT的engine模型
01-29
7. **保存engine模型**：将生成的engine序列化保存到文件，以便后续推理使用。这是一个二进制文件，包含了模型的所有优化信息。 在文件“zy_onnx2engine”中，很可能包含了实现上述步骤的代码示例或者转换脚本。...
yolov5-tensorrtx进行tensorrt加速：
04-23
YoloV5 pt 编译转 engine 模型加速后在jenson agx xavier边缘设备中部署。文章链接： ...
utils:二进制序列化助手godot和nodejs！
05-02
@ gd-com / utils 二进制序列化助手godot和nodejs！ 用这个写的要求戈多3.X NodeJS 10.14.0 LTS或更高版本如何安装npm install --save @gd-com/utils 举个例子看看 ！ const gdCom = require ( '@gd-com/utils' ) //...
【TensorRT】TensorRT踩过的坑
豆芽菜
04-15 5206
1、TensorRT发布的模型（engine）不能跨平台使用 例如linux发布的模型不能在windows下用。 2、TensorRT发布的模型需要在相同GPU算力（compute capability）的情况下使用 否则会导致compute capability不匹配问题，例如算力7.0发布的模型不能在7.5上用。 查询显卡算力：CUDA GPUs | NVIDIA Developer 3、TensorRT发布的模型需要在匹配的CUDA和cudnn环境下用 TensorRT本身有严格.
记录一次Tensorrt batch推理异常的处理
qq_19986067的博客
10-15 368
经过反复测试，发现传入约80%的图片能正确推理成功（比如batch size=64,传入40张图片，其余为0）。因为项目紧急，本来想先提供这个临时方案的。比如72张芯粒样本，里面有20张是不良品，单张推理结果是正确的，但batch推理结果却只能有9张不良品。和batch size也无关。这句话的作用就是让data拷贝到GPU结束后，CPU线程再继续。之前没有这句话，应该是没拷贝全到显存。最近给半导体部门提供C++ 推理库，还得支持TensorRT。测试下来发现batch推理和单张推理结果不一致。
问题解决心路历程:tensorrt 与 原模型精度相差过大
柴犬犬舍
05-10 3954
今天用pytorch训练了一份resnet18的模型，用于工作服检测。 但是把模型转为tensorrt engine部署后，发现运行起来预测结果完全错误。 1.一开始以为是过拟合，但是用训练数据预测，发现还是不对。 2.这时开始怀疑是自己模型结构哪里写错了，但是编译已经通过了，也就是自己写的tensorrt模型，完美接收了来自pytorch的resnet18的参数。 发现自己写的tensorrt版本的resnet结构，输入数据是224*224,pytorch版是128*64。 ..
tensorRT相关问题
IT菜鸟
11-04 2512
FP 16量化推理的结果不一致的原因 (抛砖引玉)TensorRT的FP16不得劲？怎么办？在线支招！ 模型中某一层的计算FP 16因为动态范围和精度不够，导致某个OP节点的计算值溢出。迁一发而动全身，整个模型后面的所有层都崩塌了。 TensorRT只是加速，对精度有影响吗？ TensorRT有多个方式进行inference加速，一个是layer的融合，这个是没有精度损失的；另外还可以采用低精度的FP 16 INT 8计算，FP 16基本没有精度损失，INT 8需要做量化，这时候会有很高的加速，精度损失也很
tensorRT推理相关及遇到的坑
qq_35037684的博客
06-01 2320
TensorRT是英伟达针对自家平台做的加速包，TensorRT主要做了这么两件事情，来提升模型的运行速度。TensorRT则在网络的推理时选用不这么高的精度，达到加速推断的目的。现在大多数深度学习框架是没有针对GPU做过性能优化的，而英伟达，GPU的生产者和搬运工，比如一些层在水平方向与深度方向都会做一定的合并，从而加速。另外，模型推理时，如果没做预处理，送进推理的数据类型是U8C3时，推理也会异常退出，不会告诉你是哪里的问题，需要自己一步一步debug, 看各个步骤结果是否符合预期。
TensorRT学习笔记--序列化（Serialize）和反序列化（Deserialize）
牵一只蜗牛去散步
01-10 3320
将某个对象的信息转化成可以存储或者传输的信息，这个过程称为序列化；反序列化是序列化的相反过程，将信息还原为序列化前的状态；就能够快速加载 序列化保存好的模型。1--序列化和反序列化的概念。的时候，只需要通过简单的。2-1--序列化并保存模型。2-2--反序列化加载模型。时，则反序列化可以是。的时候不需要重复编译。成一个能够永久保存的。，节省部署开发的时间。
TensorRT：在NVIDIA各种GPU硬件平台下运行的高性能推理C++库【Pytorch-＞ONNX-＞TensorRT】【实现神经网络提速(读取ONNX模型并运行)】【目前对ONNX的支持最好】
u013250861的博客
05-08 3250
一、什么是TensorRT TensorRT是可以在NVIDIA各种GPU硬件平台下运行的一个C++推理框架。 它旨在与TesnsorFlow、Caffe、Pytorch以及MXNet等训练框架以互补的方式进行工作，专门致力于在GPU上快速有效地进行网络推理。 我们利用Pytorch、TF或者其他框架训练好的模型，可以转化为TensorRT的格式，然后利用TensorRT推理引擎去运行我们这个模型，从而提升这个模型在英伟达GPU上运行的速度。 速度提升的比例是比较可观的。 借官方的话来说： The cor
关于pytorch模型转tensorrt模型遇到的问题
weixin_41630455的博客
09-29 1249
实现一个对于dcm格式的人体切下来的组织就行钙化点检测。我采用了unet分割算法，期间pth模型训练已经到达了一定精度。准备部署到嵌入设备上。期间遇到一个印象深刻的坑，pth转onnx转trt。用trt跑的时候精度变低了。试了trtexec的命令进行各种参数设置并没有改观该现象。在onnx转trt过程中查了很多资料也辗转了很久以为是onnx转换过程出现了问题。后来无意一次心血来潮想试一下onnx的本身精度。发现onnx的精度也有问题，那么问题原来处在onnx上。问题解决的也挺奇特的，本来onnx是放在bai
tensorrt build engine
02-24
TensorRT的核心功能之一是构建引擎（Build Engine），它是一个优化后的模型表示，可以在推理时快速加载和执行。 构建引擎是通过以下步骤来创建的： 1. 创建一个TensorRT的Builder对象，用于配置构建引擎的参数。 2...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

微风❤水墨

你的鼓励是我最大的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值