[未解决]TensorRT推理过程CUBLAS_STATUS_EXECUTION_FAILED

最新推荐文章于 2024-09-03 00:24:06 发布
最新推荐文章于 2024-09-03 00:24:06 发布
阅读量2k 收藏
点赞数
分类专栏： DeepStream
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cdknight_happy/article/details/100989663
版权

使用tensorRT进行YoloV3检测时，在运行tensorRT的m_Context->enqueue函数时，出现了下面所示的bug：
ERROR: c:\p4sw\sw\gpgpu\MachineLearning\DIT\release\5.1\engine\cuda\cublasHelpers.cpp (34) - cuBLAS Error in nvinfer1::stridedGemm: 13 (CUBLAS_STATUS_EXECUTION_FAILED)
造成的问题是，yoloV3三个尺度的输出仅获取了第一个尺度的数据，后两个尺度的数据未获取到(显示是未下载到内存中)。

google,stackoverflow,tensorRT讨论区均为找到同样的bug，后来发现该bug仅在第一批次的数据推理过程中出现，后面批次推理不会再出现同样的bug。因此解决方案是设定一个warmup的过程，任一模型加载完成之后首先进行一次数据的前向处理，然后再开始接收实时数据进行检测。

该解决方案是暂时的权益之计，希望大神指导！

cdknight_happy
关注
专栏目录
【ai】tx2 nx：ubuntu18.04 yolov4-triton-tensorrt 成功部署server 运行
突围
06-25 210
yolov4-triton-tensorrt
解决Tensorflow error(CUBLAS_STATUS_EXECUTION_FAILED)报错问题
SpadgerZ的博客
10-27 2600
显卡CUDA tensorflow-gpu
RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasSgemm( handle, opa, opb
woshicaiji12138的博客
02-27 4269
简单分析了一下，我的pytorch用的还是1.4.0版本，cuda由于用的30系列，之前看帖子说30系列最好使用11.0以上版本的cuda，否则会报错。因此看来应该是版本不匹配的问题的可能性大一点。简单查了一下，有说：1不同模块对device设置不同的；3shape维度不匹配。由于使用conda安装出错，conda-forge::certifi-2022.9.24这个模块没用办法安装。cuda 11.6支持pytorch 1.12.0，因此安装pytorch 1.12.0。安装成功，再运行，成功跑通。
报错记录RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED
最新发布
weixin_43505789的博客
09-03 250
原因：处理osa label时未将三分类转化为二分类，设置的全连接层时2分类。今日犯了个低级错误，导致报错。
Cuda报错：CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasSgemm( handle, opa, opb, m, n,
H1356038698的博客
08-03 2678
cuda报错的一般解决办法
RuntimeError: cuDNN error: CUDNN_STATUS_EXECUTION_FAILED啥意思
10-09
"RuntimeError: cuDNN error: CUDNN_STATUS_EXECUTION_FAILED" 是一个运行时错误，意味着在使用cuDNN库时发生了执行失败的错误。cuDNN是一个用于加速深度神经网络训练和推理的GPU加速库。 这个错误可能有多种原因，...
Pytorch → ONNX → TensorRT
qq_40680731的博客
09-09 1109
Pytorch >> ONNX >> TensorRT Pytorch >> ONNX >> TensorRT 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会
tersorrt安装_pytorch/mxnet模型tensorrt部署
weixin_39866974的博客
12-19 495
本文用于记录pytorch/mxnet模型使用tersorrt的整个流程以及遇到的坑。tensorrt支持TensorFlow的uff和onnx以及自定义模型的推理加速，对于pytorch有第三方接口torch2trt项目，但是这个需要定义好模型在加入，不能把模型和tensorrt分离import torchfrom torch2trt import torch2trtfrom torchvisi...
TensorRT 开始
m0_56069948的博客
01-13 828
Python微信订餐小程序课程视频 https://edu.csdn.net/course/detail/36074 Python实战量化交易理财系统 https://edu.csdn.net/course/detail/35475 TensorRT 是 NVIDIA 自家的高性能推理库，其 Getting Started 列出了各资料入口，如下： 本文基于当前的 TensorRT 8.2 版本，将一步步介绍从安装，直到加速推理自己的 ONNX 模型。 安装 进 TensorRT 下载页 选择版本下载，需
深度学习RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasSgemm( handle, opa,
SuiJiangPiaoLiu的博客
10-20 9607
在使用GPU跑程序时，前面加载数据是没问题的，后面relu()开始报错，错误为： **RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasSgemm( handle, opa, opb, m, n, k, &alpha, a, lda, b, ldb, &beta, c, ldc)`** 多处参考解决方案，发现应该是CUDA、torch、torchvision、python等版本兼容问题。
RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasSgemm 解决方案
热门推荐
dream6985的博客
10-14 2万+
RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasSgemm( handle, opa, opb, m, n, k, &alpha, a, lda, b, ldb, &beta, c, ldc)` 解决方案
【PyTorch报错已解决】CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasSgemm( handle, opa, opb
weixin_46234454的博客
05-05 1849
总结：RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED 这个错误通常表示在调用NVIDIA的CUDA Basic Linear Algebra Subprograms (CUBLAS)库中的函数时出现了问题。具体来说，这里的问题发生在cublasSgemm这个矩阵乘法函数上。但是CUDA的报错信息并没有定位到具体的问题，所以转移到cpu上有助于我们定位问题。在cpu环境下，重新调试代码，找到真实的报错为。
CUBLAS_STATUS_EXECUTION_FAILED when calling cublasSgemm 解决方法
qq_41726230的博客
08-22 8219
CUBLAS_STATUS_EXECUTION_FAILED when calling cublasSgemm 解决方法
【已解决】RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling cublasLtMatmul
baidu_41874367的博客
12-18 1858
最近在用BERT训练文本分类，报错RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling cublasLtMatmul，百度一下都是when calling cublasSgemm，解决方法都很麻烦还不一定有效，google一下发现stackoverflow上一位老哥提到是GPU的问题。果断将batch_size调小，成功解决。
CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasLtMatmul
zgmaguoqing的博客
05-06 1355
遇到这个问题以后，在调试过程中无法查看tensor的数据。解决办法是打断点定位，定位到可以查看tensor数据的最后一句。即为问题出现的位置。跑实验时遇到这个问题。网上总结的原因：1不同模块对device设置不同的；2cuda和pytorch版本不匹配；3shape维度不匹配。我的代码中是FF.one_hot中指定的数大于向量长度了。
RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasGemmEx( handle, opa, op
qq_40077295的博客
02-21 1666
如果改用yolov7官方自带的yaml文件，在相同的环境下是可以正常训练的，所以我认为可能torch和cuda版本是匹配的，没啥问题。2.我认为是gpu显存不够，然后我将 tarin.py 里面的 batch-size 不断调小，发现值为1时，可以正常训练一次，然后又会报这个错误，所以我更加认为是gpu显存的问题。（之前是觉得有点麻烦，所以也一直没试试），最后也成功运行了。这是我在利用yolov7进行训练时出现的问题，然后网上查了一下，原因很多，但大多数是说pytorch和cuda版本不匹配。
CUDA、CUDNN跑卷积神经网络报错CUDA error: CUBLAS_STATUS_EXECUTION_FAILED和CUDNN_STATUS_EXECUTION_FAILED
Zijie123pea的博客
03-18 1万+
  笔者跑神经网络的时候遇到显存溢出问题。 系统：Ubuntu 16.04 CUDA：10.0.130 CUDNN：7.6.4.38 Python：3.6.12 PYTORCH: 1.2 TORCHVISION: 0.4 卷积神经网络的代码用CPU跑没问题，但是用CUDA+CUDNN跑报错： RuntimeError: cuDNN error: CUDNN_STATUS_EXECUTION_FAILED 载入参数前，加上语句： torch.backends.cudnn.enabled = False 禁
CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasGemmEx
09-04
CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasGemmEx`是一个CUDA错误，通常发生在使用PyTorch进行深度学习计算时。这个错误表示在调用`cublasGemmEx`函数时出现了执行失败的情况。 根据你提供的引用内容，这个错误可能有多个原因。一种可能性是维度不匹配，但你已经确认不存在这个问题。另一种可能性是CUDA设备设置不一致，可能导致错误。你可以尝试将所有文件的CUDA设备设置保持一致，看看是否解决了问题。 另外，还有一种解决方法是禁用`torch.backends.cudnn.enabled`，这可能会解决这个错误。你可以尝试在代码中添加这一行代码，看看是否有效。 最后，根据你提供的引用，你还可以尝试升级或降级PyTorch的版本，确保与你的CUDA和Python版本兼容。在这个例子中，使用了`pip uninstall torch==1.3.0 pip install torch==1.7.1 cu110 torchvision==0.8.2 cu110 torchaudio==0.7.2`来安装PyTorch 1.7.1版本。 综上所述，解决CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasGemmEx`错误的方法可能包括确认维度是否匹配、统一CUDA设备设置、禁用`torch.backends.cudnn.enabled`或升级/降级PyTorch版本。你可以尝试这些方法来解决问题。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [解决RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cubla...](https://blog.csdn.net/weixin_43519985/article/details/120142199)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [RuntimeError: CUDA error: CUBLAS_STATUS_EXECUTION_FAILED when calling `cublasSgemm 解决方案](https://blog.csdn.net/dream6985/article/details/127320711)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值