使用TensorRT的一些没注意到的坑

已于 2023-06-26 11:28:21 修改
阅读量977 收藏 2
点赞数 1
分类专栏： 深度学习算法部署 文章标签： TensorRT部署
于 2023-03-09 15:14:44 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yangjinyi1314/article/details/129423489
版权
在使用TensorRT进行模型部署时，发现更换了cudnn版本后，trt计划文件执行出错，错误代码为1: cudnn_status_bad_param。解决办法是重新生成engine文件。需要注意的是，即使CUDA版本相同，cudnn版本不同也可能导致问题，影响TensorRT的正常使用。
摘要由CSDN通过智能技术生成

本文主要是记录平时遇到的一些奇奇怪怪的错误的

（1）编译生成的trt计划文件，在设备更换cudnn版本后，爆出如下错误：

error: 1: [convolutionrunner.cpp::nvinfer1::rt::cuda::cudnnconvolutionrunner::executeconv::458] error code 1: cudnn (cudnn_status_bad_param)

解决方法：重新生成engine文件后就可以了！

感想：以前我们都只知道生成的engine所用的cuda和部署到应用现场的设备的cuda版本保持一致或者都是相同架构和算力的，没想到同样的cuda版本，同一台设备，居然cudnn版本也会影响能否正常使用！

待继续更新。。。。。。。

曙光_deeplove
关注
专栏目录
订阅专栏
yolov8实战第六天——yolov8 TensorRT C++ 部署——（踩坑，平坑，保姆教程）
qq_34717531的博客
01-17 1万+
TensorRT 通过优化深度学习模型来提高推理速度，减少延迟。这对于实时处理应用（如视频分析、机器人导航等）至关重要。：TensorRT 优化了模型以在GPU上高效运行，这意味着更低的内存占用和更高的吞吐量。对于资源受限的环境或在多任务并行处理的情况下，这是一个显著优势。：C++ 是一种跨平台语言，配合 TensorRT，可以在多种硬件和操作系统上部署深度学习模型，包括嵌入式设备和服务器。：TensorRT 提供了精确的数学和统计方法来减少浮点运算误差，这对于确保深度学习应用的准确性和稳定性至关重要。
深度学习开发环境-TensorRT (环境配置看这个)
最新发布
周陽讀書
01-30 1240
1.什么是TensorRTTensor是一个有助于在NVIDIA图形处理单元（GPU）上高性能推理c++库。它旨在与TesnsorFlow、Caffe、Pytorch以及MXNet等训练框架以互补的方式进行工作，专门致力于在GPU上快速有效地进行网络推理。如今现有的一些训练框架（例如TensorFlow）已经集成了TensorRT，因此可以将其用于加速框架中的推理。
ex82135.cpp
ch8_daniel的专栏
10-26 376
 /************************************************************************** PURPOSE: BEGIN-TIME: 08/10/25    06:32 FINISH-TIME: 08/10/25    06:55 AUTHOR:    ch8_daniel INPUT:    r ------ resistor OUT
Error Code 1: Cudnn (Could not initialize cudnn, please check cudnn installation.)
zhaozebin666的博客
04-18 1321
[E] Error[1]: [executionResources.cpp::setTacticSources::156] Error Code 1: Cudnn (Could not initialize cudnn, please check cudnn installation.)
＜TensorRT＞ 部署时发生“引发了异常: 读取访问权限冲突。 this 是 nullptr”
thisiszdy的博客
02-16 4914
TensorRT报错
RuntimeError: cuDNN error: CUDNN_STATUS_MAPPING_ERROR
xiaobai11as的博客
09-02 3532
原因：输入数据尺寸太大了 解决方法：1,resize（crop）输入数据 2,更改bitchsize大小
TensorRT采坑api
CatkinLX的博客
07-23 2379
文章目录TensorRT链接采坑 APInvinfer1::INetworkDefinitionaddReduce内存管理总结 TensorRT链接 官方API链接：https://docs.nvidia.com/deeplearning/tensorrt/api/c_api/ 采坑 API nvinfer1::INetworkDefinition add各种layer的文档写的真的是，一言难尽 addReduce 头文件和文档注释： //! \param input The input tensor
c#和java部署pytorch同事识别两个图片_使用ONNX+TensorRT部署人脸检测和关键点250fps
weixin_39632471的博客
11-12 934
我尽量用尽可能短的语言将本文的核心内容浓缩到文章的标题中，前段时间给大家讲解Jetson Nano的部署，我们讲到用caffe在Nano上部署yolov3，感兴趣的童鞋可以看看之前的文章，然后顺便挖了一个坑：如何部署ONNX模型, 这个问题其实分为两个部分，第一是为什么要用ONNX，第二是如何部署ONNX。本文就是来填这个坑的。TLTR，本文的核心思想包括：怎么才能最快速的部署ONNX模型；当今世...
问题解决 |关于CUDA的代码错误总结以及解决方法
weixin_44649780的博客
06-26 1万+
本博客主要关于常见的CUDA的代码错误总结以及解决方法~
Ubuntu18.04安装cuda 11.3和TensorRT 8教程（碰到的坑及填坑方法，以及python和c++的TensorRT环境搭建）
lkh798842577的博客
09-13 6850
1.卸载原环境 原环境：显卡驱动 -- 470.57.02 cuda -- 10.0 cudnn -- 7.6 TensorRT 7.0.0.11 卸载cuda10.0以及相应的cudnn： cd /usr/local/cuda/bin sudo ./uninstall_cuda_10.0.pl cd .. sudo rm -rf cuda-10.0 2.安装cuda 11.3及相应的cudnn cuda各版本可在https://developer.nvidia.c
安装ubuntu20.04 遇到的问题，及cuda、cudnn、tensorrt安装提示
weixin_44359953的博客
08-05 5808
cuda cudnn tensorrt安装提示
cuDNNerror:CUDNN_STATUS_EXECUTION_FAILED报错（已解决）
yu_xinli的博客
09-28 8283
RuntimeError: cuDNN error: CUDNN_STATUS_EXECUTION_FAILED You can try to repro this exception using the following code snippet. If that doesn't trigger the error, please include your original repro script when reporting this issue.
cuDNN error: CUDNN_STATUS_EXECUTION_FAILED
求算法实习
10-15 276
在服务器上跑CNN网络代码时出错。 先查看python环境中torch和cuda版本。 import torch print(torch.__version__) print(torch.version.cuda) 结果显示 torch 1.8.0 cuda 10.2 看网上说可能是torch和cuda版本不匹配。于是我删除conda虚拟环境中的pythoch环境。 conda remove pytorch 接着重新安装torch conda install pytorch torchvision cu
Assertion failed: (smVersion ＜ SM_VERSION_A100) && “SM version not supported in this NVRTC version“
一千零一夜的博客
07-14 1447
1. 环境： window10 TensorRT-7.0.0.11 cuda 10.2 cudnn 8.0.3 刚开始以为是TensorRT版本太低，7.0换成7.2.3，还是报一样的错误。 即环境 window10 TensorRT-7.2.3 cuda 10.2 cudnn 8.0.3 也不行。 2.环境 升级cuda版本，由cuda10.2升级到11.0。 报新的错误信息： C:\source\rtSafe\cuda\cudaConvolutionRunner.cpp
cuDNN error: CUDNN_STATUS_EXECUTION_FAILED解决方案
Kqp12_27的博客
11-18 2598
cuDNN error: CUDNN_STATUS_EXECUTION_FAILED解决方案
windows cuda11.x cudnn8.x TensorRT8.x 环境配置
qq_44523137的博客
05-27 4195
win10 CUDA11 cudnn TensorRT开发环境的搭建与测试 cuda，cudnn和tensorrt安装 cuda下载地址： https://developer.nvidia.com/cuda-toolkit-archive cudnn下载地址： https://developer.nvidia.com/rdp/cudnn-archive tensorrt下载地址： https://developer.nvidia.com/nvidia-tensorrt-8x-download 请注意cudn
Python 报错解答：RuntimeError: cuDNN error: CUDNN_STATUS_MAPPING_ERROR
热门推荐
qq_41866626的博客
05-13 1万+
Python 报错解答：RuntimeError: cuDNN error: CUDNN_STATUS_MAPPING_ERROR报错如下原因分析其他 提示：以下只是个人环境报错的一种解答方式，希望对您有所帮助 报错如下 (pid=3654) RuntimeError: cuDNN error: CUDNN_STATUS_MAPPING_ERROR (pid=3654) /pytorch/aten/src/ATen/native/cuda/IndexKernel.cu:84: operator(): b
RuntimeError: cuDNN error: CUDNN_STATUS_MAPPING_ERROR #27588
lbj23hao1的博客
05-31 6536
错误的提示信息如下： 先说解决方法： 1.将batchsize继续调小，直到不出现问题 2.添加如下代码： torch.backends.cudnn.enabled = False 原因分析： 可能是cudnn的一个bug，由Conv3d layer引起的 参考：https://github.com/pytorch/pytorch/issues/27588 ...
使用TensorRT加速TensorFlow推理指南
这份用户指南详细介绍了如何在TensorFlow中使用TensorRT来提升性能。 第一章概述： 1.1 引言：本文档旨在帮助开发者理解如何在TensorFlow环境中利用TensorRT进行推理加速，从而提高应用的响应速度和效率。 1.2 整合...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

曙光_deeplove

你的鼓励是我努力的最大源泉

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值