onnxruntime-gpu报错问题

最新推荐文章于 2024-07-20 08:36:06 发布
最新推荐文章于 2024-07-20 08:36:06 发布
阅读量4.2k 收藏 6
点赞数 4
文章标签： python cuda onnxruntime
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jinxianwei1999/article/details/134705262
版权

/onnxruntime_src/onnxruntime/core/session/provider_bridge_ort.cc:1193 onnxruntime::Provider& onnxruntime::ProviderLibrary::Get() [ONNXRuntimeError] : 1 : FAIL : Failed to load library libonnxruntime_providers_cuda.so with error: libcudart.so.11.0: cannot open shared object file: No such file or directory

问题来源：使用onnxruntime推理时，总是使用cpu；使用gpu时报错

  1. onnxruntime版本不对
    onnxruntime有cpu和gpu版本，分别对应
    pip install onnxruntime 和 pip install onnxruntime-gpu
  2. 解决上一步后还有报错
    pytorch官方的命令中，使用pip安装不会安装cudatoolkit，需要手动安装
    conda install cudatoolkit
HsienWei-Chin
关注
  • 4
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
pyinstaller打包onnxruntime-gpu报错找不到CUDA的解决方案
m0_55575697的博客
07-04 1795
会在这个目录中查找自定义的钩子（hooks）文件。钩子文件用于在打包过程中处理一些特殊的依赖或行为。2、电脑上已经安装与onnxruntime-gpu对应版本的cuda和cudnn，并加入了环境变量。使用onnxruntime-gpu完成了深度学习模型部署，但在打包时发生了报错：找不到CUDA。--additional-hooks-dir=.：指定一个额外的目录，--onefile：将所有的文件和依赖打包成一个单独的可执行文件。-w main.py：指定需要打包的py文件，不带控制台窗口打包。
Failed to create CUDAExecutionProvider 使用onnxruntime-gpu未成功调用gpu
大雾的小屋的博客
01-08 5205
最近在使用GPU对onnx模型进行加速过程中（仅针对N卡，毕竟也没有别的显卡了。。），遇到了点问题：就是明明在安装了合适版本的显卡驱动和CUDA后，onnx还是不能够成功调用GPU，并且还出现了先导入torch，再导入onnxruntime就可以成功调用的奇怪现象。
【onnx】onnxruntime-gpu无法使用问题
胡侃有料的博客
07-09 1374
onnxruntime-gpu无法使用。
解决：抠图时onnxruntime错误-无法加载“onnxruntime_providers_tensorrt.dll“-错误代码“126”
Shion's bla bla blog
05-01 8492
突然抠图插件不能用了，没有搞懂，通过不使用GPU加速来绕过问题。
onnxruntime cuda版本使用时出现的错误汇总
qq_33671888的博客
01-10 1万+
1 用qt c++ 推理 onnxruntime cuda时出现诸如 E:onnxruntime:barcode, provider_bridge_ort.cc:995 onnxruntime::ProviderLibrary::Get] LoadLibrary failed with error 126 "找不到指定的模块。" when trying to load onnxruntime_providers_cuda.dll c等错错误 解决方法: 下载带onnxruntime_providers
【环境搭建：onnx模型部署】onnxruntime-gpu安装与测试（python）
热门推荐
JLGao的博客
04-11 3万+
onnx模型部署环境创建
解决 [ONNXRuntimeError] : 1 : FAIL Non-zero status code returned
05-16
pytorch转onnx模型后，对onnx模型进行runtime时提示以下错误，具体细节如下： onnxruntime.capi.onnxruntime_pybind11_state.Fail: [ONNXRuntimeError] : 1 : FAIL : Non-zero status code returned while running FusedConv node. Name:'Conv_461_Add_463_Relu_464' Status Message: CUDNN error executing cudnnSetTensorNdDescriptor(tensor_, dataType, static_cast<int>(rank), dims.data(), strides.data())。 pdf文件中是对该错误的解决思路。
onnx onnxruntime onnxruntime-gpu
08-15 535
（和Java生成的中间文件可以在JVM上运行一样，onnx runtime引擎为生成的onnx模型文件提供推理功能）在训练模型时可以使用很多不同的框架，比如 Pytorch， TensorFLow， MXNet，以及深度学习最开始流行的 Caffe 等等，这样不同的训练框架就导致了产生不同的模型结果包，在模型进行部署推理时就需要不同的依赖库，而且同一个框架比如 tensorflow 不同的版本之间的差异较大。
onnxruntime gpu
chencao100
07-24 434
onnxruntime gpu
onnxruntime_gpu-1.2.0-cp36-cp36m-manylinux2010_x86_64.whl
05-06
onnxruntime_gpu-1.2.0-cp36-cp36m-manylinux2010_x86_64.whl是onnx模型推理用的pip包，GPU版本，可取官网下载，但是速度较慢
【环境搭建：onnx模型部署】onnxruntime-gpu安装与测试（python）(2)
2401_84004012的博客
04-22 1223
在 conda 环境中安装，不依赖于 本地主机 上已安装的 cuda 和 cudnn 版本，灵活方便。如果需要其他的版本， 可以根据 onnxruntime-gpu, cuda, cudnn 三者对应关系自行组合测试。想要 onnx 模型在 GPU 上加速推理，需要安装 onnxruntime-gpu。onnx 模型在 CPU 上进行推理，在conda环境中直接使用pip安装即可。下面，从创建conda环境，到实现在GPU上加速onnx模型推理进行举例。
onnx模型部署:onnxruntime-gpu安装与测试(Python版)
最新发布
qq_53545309的博客
07-20 568
在 conda 环境中安装，不依赖于 本地主机 上已安装的 cuda 和 cudnn 版本，灵活方便。要注意：onnxruntime-gpu, cuda, cudnn三者的版本要对应，否则会报错 或 不能使用GPU推理。如果需要其他的版本， 可以根据 onnxruntime-gpu, cuda, cudnn 三者对应关系自行组合测试。想要 onnx 模型在 GPU 上加速推理，需要安装 onnxruntime-gpu。不依赖于 本地主机 上已安装的 cuda 和 cudnn 版本。
onnxruntime-gpu用pyinstaller打包报错找不到CUDA解决方案
认真努力，做一只会飞的毛毛虫。
01-13 8839
问题由来：在将深度学习模型转为onnx格式后，由于不需要依赖之前框架环境，仅仅需要由onnxruntime-gpu或onnxruntime即可运行，因此用pyinstaller打包将更加方便。但在实际打包过程中发现，CPU版本的onnxruntime通过pyinstaller打包后生成的exe第三方可以顺利调用，而GPU版本的onnxruntime-gpu则会出现找不到CUDA报错的情况，但实际上电脑已经安装了对应版本的CUDA(如10.1、10.2)。 问题分析：起初博主以为是anaconda环境管理.
pip install onnxruntime-gpu 的版本兼容问题
huzhifei的专栏
08-09 5940
Win10 下Pytorch1.9.0+cu102 安装 onnxruntime-gpu 后运行到onnx模型加载推理后一直提示加载库错误 [E:onnxruntime:Default, provider_bridge_ort.cc:952 onnxruntime::ProviderLibrary::Get] Failed to load library, error code: 126 查看onnxruntime-gpu的版本是1.8.1，经过分析这类错误大多和版本相关。 pip insta...
告诉上述代码报错的原因onnxruntime.capi.onnxruntime_pybind11_state.InvalidArgument: [ONNXRuntimeError] : 2 : INV...
weixin_35748962的博客
01-02 3764
这个错误的原因是输入的数据类型和预期的数据类型不匹配。根据错误信息，实际输入的数据类型是 unsigned 8-bit integer (tensor(uint8))，而预期的数据类型是浮点数 (tensor(float))。这意味着模型期望输入浮点数，但实际上输入的是无符号 8 位整数。因此，需要确保输入的数据类型与模型期望的数据类型相匹配，才能避免这个错误。 ...
onnxruntime-gpu飘红报错怎么解决？
j_starry的博客
04-07 901
这几天在搭comfyui环境的时候遇到一个棘手的问题，使用insightface的时候，GPU报错，只能用CPU，虽然能够运行，但也降低了运行速度。原本我是1.17.0的版本，cuda的话应该比较高，尝试了1.16多的版本也不行，如果有这个困扰的小伙伴，可以用这个方式，去找下比较搭配的版本。报错有少许不同，就类似这种，不用查也知道是onnxruntime-gpu版本的问题，但一直不知道该是哪个版本，今天看到个解决方法，终于有用了。这样安装的是1.17.1的版本。祝大家成功赶走bug！
深度学习模型部署——基于Onnx Runtime的深度学习模型CPU与GPU部署（C++实现）
知来者逆的博客
05-18 5057
以上就是在win 10下使用Onnx Runtime用CPU与GPU来对onnx模型进行推理部署的对比，可以明显的看出来，使用GPU之后的推理速度，但在正式的大型项目中，在win下使用GPU部署模型是不建议，一般都会选择Linux,那样对GPU的利用率会高出不少，毕竟蚊腿肉也是肉。
onnxruntime-gpu安装
09-21
要安装onnxruntime-gpu，您可以按照以下步骤进行操作： 1. 首先，确保您的计算机上已经安装了适当的GPU驱动程序，并且您的GPU支持CUDA。 2. 确保您的系统中已经安装了CUDA Toolkit。您可以从NVIDIA官方网站下载并安装适用于您的操作系统和GPU型号的CUDA Toolkit。 3. 在安装CUDA Toolkit之后，您需要安装cuDNN库。cuDNN是一个针对深度神经网络的加速库。您可以从NVIDIA开发者网站下载适用于您的CUDA版本的cuDNN，并按照说明进行安装。 4. 确保您的Python环境已经安装和配置正确。您可以使用pip命令来安装所需的Python包。 5. 最后，您可以使用pip命令来安装onnxruntime-gpu： ``` pip install onnxruntime-gpu ``` 这样就完成了onnxruntime-gpu的安装。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值