onnxruntime使用GPU莫名失败陷阱，巨深！！！

已于 2023-09-24 17:27:52 修改
阅读量783 收藏 6
点赞数 1
文章标签： 计算机视觉 目标检测 机器学习 人工智能
于 2023-09-24 17:22:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42037607/article/details/133245275
版权

使用pytorch模型训练后将pt转换为onnx后，可以用python,java,c#等各种语言调用，使用GPU加速是多数人的选择，但cuda装过无数次，总是失败，没有任何提示，本人日思夜想不得解。经过几天努力，发现cuda缺少两个文件zlibwapi.lib，zlibwapi.dll。太难了！！！！！！需要将两个文件放到cuda驱动里。如下图
在这里插入图片描述
经过多次实验rtx3090显卡，cuda 11.6,cudnn8.5,onnxruntime-gpu-1.13.1,可以正常匹配！
文件可以到官网下载，也可以从以下地址下载。

https://download.csdn.net/download/weixin_42037607/88370314
frank_jxust
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
pip安装onnxruntime_gpu1.6.0失败
weixin_46050479的博客
05-03 4892
pip安装onnxruntime_gpu1.6.0失败 安装onnxruntime_gpu时需要对应cuda版本安装，笔者安装的cuda版本为10.2，对应onnxruntime_gpu应该安装1.5-1.6的，但是直接用命令pip install onnxruntime-gpu 安装的版本是最新版，指定版本安装pip install onnxruntime-gpu==1.6.0同样报错 Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple
onnxruntime_gpu-1.10.0-cp36-cp36m-linux_aarch64.whl
01-04
arm、 jetson nano 可用的 onnxruntime-gpu
onnxruntime gpu
05-31
onnxruntime gpu版本推理库文件，包含头文件，lib库文件，dll 动态库文件，用于c++开发
【ONNX】onnxruntime-gpu无法使用gpu问题（CUDA适配）
豆芽菜
03-01 7338
No worries. Then please check your CUDA and CuDNN versions. They must be compatible to each other. Here is the link which might be helpful:CUDA - onnxruntimeFor ONNXRuntime 1.9.0 package, I think it was built by CUDA 11.4. Ideally it should support 11.x ..
报错解决 Failed to load library libonnxruntime_providers_tensorrt.so with error: libnvinfer.so.8
摘星阁
07-03 738
所以可以猜测是 Python 的 tensorrt 库的版本问题。但重新运行程序发现报错还是没有解决，根据网上资料将路径加入。搜了网上的教程没用，检查了一下。重新运行，报错解决。
ONNXRuntime报错：onnxruntime\capi\onnxruntime_providers_shared.dll LoadLibrary failed with error 126
weixin_45303602的博客
09-05 3506
E:onnxruntime:barcode, provider_bridge_ort.cc:995 onnxruntime::ProviderLibrary::Get] LoadLibrary failed with error 126 "找不到指定的模块。" when trying to load onnxruntime_providers_cuda.dll c等错错误
VS2022 C#使用CUDA运行yolov8模型，程序自动退出，输出窗口无任何提示
wdz502425575的博客
11-11 633
通过nuget 加载了microsoft.ml.onnxruntime.gpu（1.15.1）和microsoft.ml.onnxruntime.managed（1.15.1）包，当程序执行这一步时直接退出，输出窗口无任何提示。1、microsoft.ml.onnxruntime和microsoft.ml.onnxruntime.gpu包不能在一个项目中同时存在，试了还是不行。查找onnxruntime_providers_cuda.dll的依赖项，依然不行。在控制台上输出日志提示，终于找到原因，缺少。
【onnx】onnxruntime-gpu无法使用问题
胡侃有料的博客
07-09 1156
onnxruntime-gpu无法使用。
Failed to create CUDAExecutionProvider 使用onnxruntime-gpu未成功调用gpu
大雾的小屋的博客
01-08 4847
最近在使用GPU对onnx模型进行加速过程中（仅针对N卡，毕竟也没有别的显卡了。。），遇到了点问题：就是明明在安装了合适版本的显卡驱动和CUDA后，onnx还是不能够成功调用GPU，并且还出现了先导入torch，再导入onnxruntime就可以成功调用的奇怪现象。
解决安装onnxruntime报错（安装GPU和cpu版本的）
qq_43316734的博客
07-13 869
下载完成后，在该目录打开终端，进入你创建的虚拟环境，直接使用pip install onnxruntime-1.8.0-cp38-cp38-manylinux_2_17_aarch64.manylinux2014_aarch64.whl。注意要适配python 版本和平台，我这里的是python3.8, Platform: linux-aarch64。pip install onnxruntime最高只能安装到1.4.0版本，需要通过whl安装较新版本（
onnx模型推理速度慢/ onnx模型推理时gpu没有被占用
zxz669的博客
07-06 177
看看是不是用的onnxruntime （这个是cpu版本的）换成onnruntime-gpu 就好了。
onnxruntime-gpu-1.18.0-cp38-cp38-linux-aarch64.whl.zip
06-22
标题中的“onnxruntime-gpu-1.18.0-cp38-cp38-linux-aarch64.whl.zip”是一个针对GPU优化的ONNX运行时库的压缩包，版本为1.18.0，适用于Python 3.8，并且是为Linux上的ARM架构（aarch64）设计的。ONNX（Open Neural ...
手动build的onnxruntime_gpu-1.12.0-cp38-cp38-linux_aarch64.whl
05-25
自己在jetpack5.0.1版本的nx上build的onnx版本，不是正式版本，可能会在一些环境下出问题。理论上说jetson系列应该都可以安装运行，前提是cuda11.4（使用tensorrt的话需要tensorrt8.4）
onnxruntime_gpu-1.2.0-cp36-cp36m-manylinux2010_x86_64.whl
05-06
onnxruntime_gpu-1.2.0-cp36-cp36m-manylinux2010_x86_64.whl是onnx模型推理用的pip包，GPU版本，可取官网下载，但是速度较慢
onnxruntime-gpu报错问题
jinxianwei1999的博客
11-30 4043
问题来源：使用onnxruntime推理时，总是使用cpu；
onnxruntime-gpu使用问题
bemy1008的博客
01-13 5792
使用onnx+GPU推理yolov4/v5模型的时候报错： warnings.warn(“Cannot load onnxruntime.capi. Error: ‘{0}’”.format(str(e))) Traceback (most recent call last): File “D:\Program\pyDev\Anaconda\envs\pytorch\lib\site-packages\onnxruntime_init_.py”, line 12, in from onnxruntime.
onnx 导入异常解决
oyjwin的博客
06-18 2528
[GCC 9.3.0] on linux Type "help", "copyright", "credits" or "license" for more information. >>> import onnx Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/home/oyj/anaconda/envs/oyj_torch/lib/python..
onnxruntime安装cannot import name ‘get_all_providers‘，libcurand.so.10: cannot open shared object file
lhyyhlfornew的博客
10-30 2781
onnxruntime分为CPU和GPU两个版本，用pip安装的命令分别是： pip install onnxruntime pip install onnxruntime-gpu 如果只需要在CPU环境下运行只需安装CPU版本，在GPU环境下只需安装GPU版本，检查onnxruntime当前的运行环境可用onnxruntime.get_device()，安装GPU版本一定要安装对应版本的CUDA和Cudnn,例如onnxruntime版本是1.5.1,对应CUDA 10.2,Cudnn8.0，如果版
【环境搭建：onnx模型部署】onnxruntime-gpu安装与测试（python）
热门推荐
JLGao的博客
04-11 3万+
onnx模型部署环境创建
onnxruntime 使用gpu推理
最新发布
07-24
import onnxruntime as ort # 加载ONNX模型文件 model_path = 'path_to_your_model.onnx' session = ort.InferenceSession(model_path) # 获取可用的执行提供者，优先选择GPU providers = ['CUDAExecutionProvider...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

frank_jxust

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值