关于tensorRT中遇到的几个问题

最新推荐文章于 2024-07-24 03:06:41 发布
最新推荐文章于 2024-07-24 03:06:41 发布
阅读量3.8k 收藏 1
点赞数
分类专栏： 深度学习TX2 tensorRT 文章标签： tensorRT
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_17278169/article/details/83350608
版权

关于tensorRT中遇到的几个问题

一、运行同一个程序，前后两次的运行结果不一样
例如运行tensorRT-SSD代码，同样的测试图片，检测出来的目标框会有轻微的抖动，但是目标还是能检测出来，不会影响精度。

2018-11-5
找到原因所在了，softmax层的实现有问题。
只要是程序运行出现随机现象，那么一定是有问题的。一个正常的程序运行，如果自己没有写随机代码，那么程序肯定是有问题的。有很大可能是某个变量在定义的时候没有初始化。

二、相同的代码，相同的模型，相同的测试图片，在不同的平台上结果不一样
我在pc上的gtx1080显卡运行tensorRT代码，全部调试通过之后移植到tx2平台上运行，却发现在tx2平台上的检测精度要比pc上低一些

同一份代码，如果保证是三方库是一样的，绝不会出现一样的结果。要么就是针对不同的平台，相同版本的三方库的实现也是不一样的

西红柿爱吃小番茄
关注
专栏目录
TensorRT：engine序列化大小不一致问题
微风❤水墨
01-15 782
之前序列化没有过多注意engine的大小问题，最近循环对一个模型序列化，发现大小会变化。不过经过验证，并不影响前向的推理结果。 经过查阅，找打这个解释链接，可能国内打不开该网页。同样的现象：大小不同，但结果一致。 官方的解释：序列化的时候，依赖当前的机器状态【GPU, OS/kernel, CPU, system load, available memory, etc】 更加详细的解释： 通常，由TensorRT构建器由给定INetworkDefinition生成的CUDA引擎可能取决于各种
深度学习开发环境-TensorRT (环境配置看这个)
周陽讀書
01-30 1181
1.什么是TensorRTTensor是一个有助于在NVIDIA图形处理单元（GPU）上高性能推理c++库。它旨在与TesnsorFlow、Caffe、Pytorch以及MXNet等训练框架以互补的方式进行工作，专门致力于在GPU上快速有效地进行网络推理。如今现有的一些训练框架（例如TensorFlow）已经集成了TensorRT，因此可以将其用于加速框架中的推理。
解决TensorRT同一数据每次返回结果都不一致问题
努力是为了躺平
07-21 2179
问题描述： 最近进行把TF的模型转化为UFF文件部署到TensorRT。在进行测试的时候发现一个问题，同一个数据使用TRT进行推理，但是每次结果都不一样。输出的结果本应是softmax算子输出结果， 但是输出的结果看着都是随机的，而且数值求和结果非1，而是有的非常大，有的非常小。 排查了一整天发现是因为我的日志头文件导入的顺序导致这个问题。 #include "easylogging++.h" #include "common.h" #include "buffers.h" #include "Nv
Tensor是如何让你的内存/显存泄漏的
最新发布
weixin_35838019的博客
07-24 58
某codebase出现了奇怪的泄漏现象，奇怪的点有以下几个方面：（1）不同的模型，内存/显存泄漏的现象不一样。比如A模型和B模型泄露的速度是不一样的（2）训练同一个模型的时候，如果在dataset中增加了数据量，相比不加数据，会在更早的epoch就把内存泄漏完。是不是听起来现象非常离谱，本着”code never lies...
yolov5s进行tensorRT的VS部署时出现输出信息不正确的情况
Fan1534的博客
10-17 272
其实就是输出节点的问题，有些人的模型输出节点是output，有些模型是output0，当出现置信度为不合理的乱码数值时就可以尝试修改output的结点信息即可。
问题解决心路历程:tensorrt 与 原模型精度相差过大
柴犬犬舍
05-10 3960
今天用pytorch训练了一份resnet18的模型，用于工作服检测。 但是把模型转为tensorrt engine部署后，发现运行起来预测结果完全错误。 1.一开始以为是过拟合，但是用训练数据预测，发现还是不对。 2.这时开始怀疑是自己模型结构哪里写错了，但是编译已经通过了，也就是自己写的tensorrt模型，完美接收了来自pytorch的resnet18的参数。 发现自己写的tensorrt版本的resnet结构，输入数据是224*224,pytorch版是128*64。 ..
TensorRT得到的CUDA引擎序列化以后模型大小不一样
qq_29007291的博客
01-14 868
现象 TensorRT得到的CUDA引擎序列化以后模型大小不一样。 我是从caffemodel解析生成的TensorRT-engine，发现同一个caffemodel得到的TensorRT-engine大小不一，大小每次相差几到几百KB，但是模型的检测结果一致。 疑问在于，优化过程应该不存在随机的过程，所以这个模型体积大小的变化从何而来呢？ 原因 有人遇到了类似的问题，官方给了解答（需要梯子），见下图 总的来说，生成CUDA-engine的时候，结合了你的GPU, os/kernel，cpu， 系统负载，
算法部署-使用TensorRT+Python部署MoE模型-优质算法部署项目实战.zip
03-05
项目实战中，你可能会遇到以下几个关键点： 1. **模型转换**：将MoE模型的框架（如PyTorch或TensorFlow）转换为TensorRT兼容的模型。这可能需要使用特定的序列化和反序列化工具。 2. **性能优化**：利用TensorRT的...
python3.6 tensorrt替换包
12-29
在Python编程环境中，TensorRT是一个高性能的深度学习推理（Inference）库，它主要用于优化和加速神经网络模型的运行。然而，TensorRT的官方支持并不是对所有Python版本都全面覆盖，特别是对于较旧的版本如Python ...
算法部署-使用TensorRT部署AlphaRefine目标跟踪算法-优质算法部署项目实战.zip
03-06
TensorRT部署过程主要包括以下几个步骤： 1. 准备工作：确保安装了TensorRT库以及支持的CUDA和cuDNN版本。同时，需要获取AlphaRefine算法的预训练模型，通常是以.onnx或.pb等格式保存的模型权重文件。 2. 模型优化...
TensorRT-使用TensorRT部署FairMOT行人重识别+跟踪算法-优质算法部署项目实战.zip
03-04
部署FairMOT在TensorRT上的流程通常分为以下几个步骤： 1. **模型转换**：首先，需要将训练好的FairMOT模型转换为TensorRT支持的格式。这通常涉及到使用ONNX或其他中间表示语言来导出模型，然后使用TensorRT的API...
Tensorrt 版本不匹配错误，collect2: error: ld returned 1 exit status.
m0_61133217的博客
10-30 134
版本不匹配错误，使用不同版本的tensorrt，make 时出现问题，修改makefile文件中的配置文件。
玄学！Flask部署tensorrt模型与本地接口推理不一致
qq_42681787的博客
06-19 156
看来问题还是出现在了pycuda库，由于才疏学浅，对利用pycuda库进行英伟达显卡内存分配，进程管理，多线程推理等不是很了解，在falsk部署tensorrt遇到了许多问题。图片用的是同一张，唯一的区别是一个通过postman base64传入图片，一个通过opencv从本地加载图片，我反复检测了模块传入参数、数据预处理.........最后，goolge一番，发现是启动flask时的问题，要是启动flask使用debug=True就会出现错误，不使用debug就不会有错误。欢迎在评论区留言讨论。
关于pytorch模型转tensorrt模型遇到的问题
weixin_41630455的博客
09-29 1251
实现一个对于dcm格式的人体切下来的组织就行钙化点检测。我采用了unet分割算法，期间pth模型训练已经到达了一定精度。准备部署到嵌入设备上。期间遇到一个印象深刻的坑，pth转onnx转trt。用trt跑的时候精度变低了。试了trtexec的命令进行各种参数设置并没有改观该现象。在onnx转trt过程中查了很多资料也辗转了很久以为是onnx转换过程出现了问题。后来无意一次心血来潮想试一下onnx的本身精度。发现onnx的精度也有问题，那么问题原来处在onnx上。问题解决的也挺奇特的，本来onnx是放在bai
tensorrt和onnxruntime-gpu同时调用gpu时tensorrt推理出现错乱解决方式
weixin_55783281的博客
03-02 976
tensorrt和onnxruntime-gpu同进程冲突
tensorRT相关问题
IT菜鸟
11-04 2515
FP 16量化推理的结果不一致的原因 (抛砖引玉)TensorRT的FP16不得劲？怎么办？在线支招！ 模型中某一层的计算FP 16因为动态范围和精度不够，导致某个OP节点的计算值溢出。迁一发而动全身，整个模型后面的所有层都崩塌了。 TensorRT只是加速，对精度有影响吗？ TensorRT有多个方式进行inference加速，一个是layer的融合，这个是没有精度损失的；另外还可以采用低精度的FP 16 INT 8计算，FP 16基本没有精度损失，INT 8需要做量化，这时候会有很高的加速，精度损失也很
yolov9 tensorrt推理结果全为None
qq_44846512的博客
04-24 397
基于上述问题，我尝试以下几种方式：(1) 使用开源的基于yolov9的c++版推理代码，进行测试，发现结果认为nan值；(4) 最后我发现在使用export.py转onnx和engine时，因为要转为fp6格式，故参数里设置half为True，它会先将加载的pt模型截断到fp16范围内，再进行后续操作。在写部署代码时，发现使用python写推理代码，无论是fp32还是fp16的engine，最后结果都可以正常输出，但是在使用c++写同样的推理代码时发现使用fp32的engine作为引擎，推理结果正常。
c++通过tensorRT调用模型进行推理
qq_26611129的博客
09-07 2751
拿到onnx模型后，通过tensorRT将onnx模型转换为对应的engine模型，并且在bin目录下生成.engine模型文件。算法工程师训练得到的onnx模型。
TensorRT 系列 -转化问题中遇到的问题记录
小白cvnice的博客
05-19 405
网络的输出一直有问题，比如输出值一直是1.7515477e+37这种极大的数 这个问题我一开始也不确定是什么问题，最后是在将图片数据格式转为np.float32解决的。
tensorrt安装什么版本
07-24
TensorRT 是 NVIDIA 开发的一款深度学习优化框架，用于加速机器学习模型推理的速度并降低资源消耗。选择合适的 TensorRT 版本通常取决于您的硬件环境、CUDA 和 cuDNN 的版本以及您希望支持的功能。 以下是几个常见步骤供您参考，以便安装正确的 TensorRT 版本： ### 安装前准备 1. **确认系统兼容性**：首先，确定您的操作系统是否支持 TensorRT。TensorRT 支持 Linux 系统，并推荐使用最新版的操作系统，如 Ubuntu 18.04 或更高版本。 2. **检查 CUDA 和 cuDNN 版本**：TensorRT 需要与 CUDA 和 cuDNN 搭配工作。确保已安装最新的 CUDA 版本，并且下载了相应的 cuDNN。在 NVIDIA 的开发者网站上可以找到这些组件的最新版本。 3. **获取安装脚本**：访问 NVIDIA 的开发者中心，在“TensorRT”页面找到针对您操作系统的安装指南。通常会提供一个脚本文件，如 `nvidia-container-toolkit` 或其他特定于您环境的安装方法。 ### 实际安装过程 1. **下载安装脚本**：按照官方文档指引，下载适用于您的操作系统和软件包管理器的安装脚本。 2. **运行安装命令**：通过终端运行安装脚本，一般情况下脚本会自动处理依赖库的安装。例如： ```bash sudo ./install-tensorrt.sh -c cuda-version -d cudnn-version ``` 其中 `cuda-version` 和 `cudnn-version` 分别代表您所使用的 CUDA 和 cuDNN 版本。注意替换为您实际需要的版本编号。 3. **验证安装成功**：安装完成后，可以通过运行一些示例程序或查看 `/usr/local/nvidia/lib64` 目录下是否有 `libnvinfer.so.*` 文件来验证 TensorRT 是否已成功安装。 ### 相关问题: 1. **如何解决安装过程中遇到的问题？** 当遇到安装错误时，可以查阅安装日志文件（通常位于 `/var/log/install.log`），或者访问 NVIDIA 开发者论坛寻求帮助。 2. **TensorRT 是否有针对特定需求的版本推荐？** 对于特定的应用场景（如嵌入式设备、高性能计算等），可能需要考虑 TensorRT 的不同版本及其提供的特性和性能优化。 3. **更新 TensorRT 至最新版本的方法是什么？** 跟随官方发布的更新指南，通常是通过重新运行安装脚本来获取最新版本，同时确保 CUDA 和 cuDNN 的兼容性。 --- 请注意，上述信息基于当前标准流程编写，具体的步骤和命令可能会随着 TensorFlow 版本、NVIDIA 的更新而发生变化。因此，建议直接从 NVIDIA 的官方网站获取最准确、详细的安装指导。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值