TensorRT：engine序列化大小不一致问题

最新推荐文章于 2023-06-01 18:22:10 发布
最新推荐文章于 2023-06-01 18:22:10 发布
阅读量734 收藏
点赞数
分类专栏： 目标检测-实现
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lilai619/article/details/112647308
版权

之前序列化没有过多注意engine的大小问题，最近循环对一个模型序列化，发现大小会变化。不过经过验证，并不影响前向的推理结果。

经过查阅，找打这个解释链接，可能国内打不开该网页。同样的现象：大小不同，但结果一致。

官方的解释：序列化的时候，依赖当前的机器状态【GPU, OS/kernel, CPU, system load, available memory, etc】

了解本专栏 订阅专栏 解锁全文 超级会员免费看
微风❤水墨
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Cityengine规则：参数化建筑
12-18
Cityengine规则：参数化建筑
TensorRT得到的CUDA引擎序列化以后模型大小不一样
qq_29007291的博客
01-14 803
现象 TensorRT得到的CUDA引擎序列化以后模型大小不一样。 我是从caffemodel解析生成的TensorRT-engine，发现同一个caffemodel得到的TensorRT-engine大小不一，大小每次相差几到几百KB，但是模型的检测结果一致。 疑问在于，优化过程应该不存在随机的过程，所以这个模型体积大小的变化从何而来呢？ 原因 有人遇到了类似的问题，官方给了解答（需要梯子），见下图 总的来说，生成CUDA-engine的时候，结合了你的GPU, os/kernel，cpu， 系统负载，
MYSQL 不同的表格式，导致不同的存储空间消耗和性能差异 横向评测
sql server的专栏
08-26 726
MYSQL 在建立之初，表的格式就有好几种，与其他的数据库不同，你从未听说 ORACLE ,SQL SERVER , PG 对于表的存储格式有不同，而MYSQL 在建表的时候有一个地方对于存储的表的格式有不一样的设定。如果你知道我在说什么那么对于下面的几个单词一定是熟悉的， DYNAMIC , FIXED ,COMPRESSED , COMPACT ，REDUNDANT . 如果你不知道我在说什么...
解决TensorRT同一数据每次返回结果都不一致问题
努力是为了躺平
07-21 1996
问题描述： 最近进行把TF的模型转化为UFF文件部署到TensorRT。在进行测试的时候发现一个问题，同一个数据使用TRT进行推理，但是每次结果都不一样。输出的结果本应是softmax算子输出结果， 但是输出的结果看着都是随机的，而且数值求和结果非1，而是有的非常大，有的非常小。 排查了一整天发现是因为我的日志头文件导入的顺序导致这个问题。 #include "easylogging++.h" #include "common.h" #include "buffers.h" #include "Nv
关于tensorRT中遇到的几个问题
qq_17278169的博客
10-24 3714
关于tensorRT中遇到的几个问题 一、运行同一个程序，前后两次的运行结果不一样 例如运行tensorRT-SSD代码，同样的测试图片，检测出来的目标框会有轻微的抖动，但是目标还是能检测出来，不会影响精度。 二、相同的代码，相同的模型，相同的测试图片，在不同的平台上结果不一样 我在pc上的gtx1080显卡运行tensorRT代码，全部调试通过之后移植到tx2平台上运行，却发现在tx2平台上的检...
【TensorRT】TensorRT踩过的坑
豆芽菜
04-15 4725
1、TensorRT发布的模型（engine）不能跨平台使用 例如linux发布的模型不能在windows下用。 2、TensorRT发布的模型需要在相同GPU算力（compute capability）的情况下使用 否则会导致compute capability不匹配问题，例如算力7.0发布的模型不能在7.5上用。 查询显卡算力：CUDA GPUs | NVIDIA Developer 3、TensorRT发布的模型需要在匹配的CUDA和cudnn环境下用 TensorRT本身有严格.
问题解决心路历程:tensorrt 与 原模型精度相差过大
柴犬犬舍
05-10 3596
今天用pytorch训练了一份resnet18的模型，用于工作服检测。 但是把模型转为tensorrt engine部署后，发现运行起来预测结果完全错误。 1.一开始以为是过拟合，但是用训练数据预测，发现还是不对。 2.这时开始怀疑是自己模型结构哪里写错了，但是编译已经通过了，也就是自己写的tensorrt模型，完美接收了来自pytorch的resnet18的参数。 发现自己写的tensorrt版本的resnet结构，输入数据是224*224,pytorch版是128*64。 ..
Pytorch2TensorRT:CUDA10.0，CUDNN7.5.0，TensorRT7.0.0.11
05-10
TensorRT engine”。 当前仅针对ONNX和TensorRT支持OP可进行转换，如有不支持的OP需编写插件。 News: 2020.12.10: 更新trt_convertor.py脚本，使之适用于TRT7； 软件环境： TensorRT7.0.0.11 Pytorch1.2 PIL6.2.1 ...
yolov8的onnx模型转换成tensorRT的engine模型
最新发布
01-29
yolov8的onnx模型转换成tensorRT的engine模型
yolov5-tensorrtx进行tensorrt加速：
04-23
YoloV5 pt 编译转 engine 模型加速后在jenson agx xavier边缘设备中部署。文章链接： ...
utils:二进制序列化助手godot和nodejs！
05-02
@ gd-com / utils 二进制序列化助手godot和nodejs！ 用这个写的要求戈多3.X NodeJS 10.14.0 LTS或更高版本如何安装npm install --save @gd-com/utils 举个例子看看 ！ const gdCom = require ( '@gd-com/utils' ) //...
tensorRT相关问题
IT菜鸟
11-04 2108
FP 16量化推理的结果不一致的原因 (抛砖引玉)TensorRT的FP16不得劲？怎么办？在线支招！ 模型中某一层的计算FP 16因为动态范围和精度不够，导致某个OP节点的计算值溢出。迁一发而动全身，整个模型后面的所有层都崩塌了。 TensorRT只是加速，对精度有影响吗？ TensorRT有多个方式进行inference加速，一个是layer的融合，这个是没有精度损失的；另外还可以采用低精度的FP 16 INT 8计算，FP 16基本没有精度损失，INT 8需要做量化，这时候会有很高的加速，精度损失也很
tensorRT推理相关及遇到的坑
qq_35037684的博客
06-01 1785
TensorRT是英伟达针对自家平台做的加速包，TensorRT主要做了这么两件事情，来提升模型的运行速度。TensorRT则在网络的推理时选用不这么高的精度，达到加速推断的目的。现在大多数深度学习框架是没有针对GPU做过性能优化的，而英伟达，GPU的生产者和搬运工，比如一些层在水平方向与深度方向都会做一定的合并，从而加速。另外，模型推理时，如果没做预处理，送进推理的数据类型是U8C3时，推理也会异常退出，不会告诉你是哪里的问题，需要自己一步一步debug, 看各个步骤结果是否符合预期。
TensorRT学习笔记--序列化（Serialize）和反序列化（Deserialize）
牵一只蜗牛去散步
01-10 2580
将某个对象的信息转化成可以存储或者传输的信息，这个过程称为序列化；反序列化是序列化的相反过程，将信息还原为序列化前的状态；就能够快速加载 序列化保存好的模型。1--序列化和反序列化的概念。的时候，只需要通过简单的。2-1--序列化并保存模型。2-2--反序列化加载模型。时，则反序列化可以是。的时候不需要重复编译。成一个能够永久保存的。，节省部署开发的时间。
TensorRT：在NVIDIA各种GPU硬件平台下运行的高性能推理C++库【Pytorch-＞ONNX-＞TensorRT】【实现神经网络提速(读取ONNX模型并运行)】【目前对ONNX的支持最好】
u013250861的博客
05-08 3003
一、什么是TensorRT TensorRT是可以在NVIDIA各种GPU硬件平台下运行的一个C++推理框架。 它旨在与TesnsorFlow、Caffe、Pytorch以及MXNet等训练框架以互补的方式进行工作，专门致力于在GPU上快速有效地进行网络推理。 我们利用Pytorch、TF或者其他框架训练好的模型，可以转化为TensorRT的格式，然后利用TensorRT推理引擎去运行我们这个模型，从而提升这个模型在英伟达GPU上运行的速度。 速度提升的比例是比较可观的。 借官方的话来说： The cor
关于pytorch模型转tensorrt模型遇到的问题
weixin_41630455的博客
09-29 1018
实现一个对于dcm格式的人体切下来的组织就行钙化点检测。我采用了unet分割算法，期间pth模型训练已经到达了一定精度。准备部署到嵌入设备上。期间遇到一个印象深刻的坑，pth转onnx转trt。用trt跑的时候精度变低了。试了trtexec的命令进行各种参数设置并没有改观该现象。在onnx转trt过程中查了很多资料也辗转了很久以为是onnx转换过程出现了问题。后来无意一次心血来潮想试一下onnx的本身精度。发现onnx的精度也有问题，那么问题原来处在onnx上。问题解决的也挺奇特的，本来onnx是放在bai
tensorRT5.15 使用中的注意点
TigerZ*的博客
10-28 818
1、鉴黄加速效果：压测及线上情况 2、安装，建议使用tar的形式，避免遇到一些依赖库找不到的问题。 3、Python图片预处理多进程不及多线程。 多进程CPU占用低，主要是预处理的时间过少，Python 进程分发任务开销对于我们的ms级应用不可忽视。 对比为batch=8，进程、线程为8，时间均为8张时间，循环1000次测试。 多线程，平均为8.5ms(每千次次变动7.5-9.5S，近乎100%占用)； 多进程，平均为19ms（15-21ms）； ...
protobuf深坑-版本冲突-彻底解决
热门推荐
微风❤水墨
05-08 1万+
由于安装了anaconda ,caffe，后面又安装了pytorch，mmdetection，tensorboardX，导致环境中protoc和protobuf相当混乱 后面在编译caffe的时候，已经编辑不过去了。 1：一般protobuf安装有3种方式 apt-get install libprotobuf-dev protobuf-compiler[安装在系统] pip i...
qt rand::engine
10-23
在Qt中，rand::engine通过生成伪随机数序列来模拟真实的随机数。这些伪随机数是基于固定的种子值生成的，当使用相同的种子值时，生成的随机数序列也是相同的。因此，在使用rand::engine时，我们可以通过设置种子值来...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

微风❤水墨

你的鼓励是我最大的动力！

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值