onnxruntime使用GPU莫名失败陷阱，巨深！！！

已于 2023-09-24 17:27:52 修改
阅读量815 收藏 6
点赞数 1
文章标签： 计算机视觉 目标检测 机器学习 人工智能
于 2023-09-24 17:22:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42037607/article/details/133245275
版权
文章讲述了作者在将PyTorch模型转换为ONNX后，遇到GPU加速CUDA安装失败的问题，主要原因是缺少zlibwapi.lib和zlibwapi.dll文件。通过实验，作者发现针对RTX3090显卡，CUDA11.6和CUDNN8.5版本，以及ONNXRuntime-GPU-1.13.1，需要特定文件才能正常运行，提供了解决方案和下载链接。
摘要由CSDN通过智能技术生成

使用pytorch模型训练后将pt转换为onnx后，可以用python,java,c#等各种语言调用，使用GPU加速是多数人的选择，但cuda装过无数次，总是失败，没有任何提示，本人日思夜想不得解。经过几天努力，发现cuda缺少两个文件zlibwapi.lib，zlibwapi.dll。太难了！！！！！！需要将两个文件放到cuda驱动里。如下图
在这里插入图片描述
经过多次实验rtx3090显卡，cuda 11.6,cudnn8.5,onnxruntime-gpu-1.13.1,可以正常匹配！
文件可以到官网下载，也可以从以下地址下载。

https://download.csdn.net/download/weixin_42037607/88370314
frank_jxust
关注
  • 1
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
pip安装onnxruntime_gpu1.6.0失败
weixin_46050479的博客
05-03 4970
pip安装onnxruntime_gpu1.6.0失败 安装onnxruntime_gpu时需要对应cuda版本安装，笔者安装的cuda版本为10.2，对应onnxruntime_gpu应该安装1.5-1.6的，但是直接用命令pip install onnxruntime-gpu 安装的版本是最新版，指定版本安装pip install onnxruntime-gpu==1.6.0同样报错 Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple
onnxruntime-gpu-1.18.0-cp38-cp38-linux-aarch64.whl.zip
06-22
标题中的“onnxruntime-gpu-1.18.0-cp38-cp38-linux-aarch64.whl.zip”是一个针对GPU优化的ONNX运行时库的压缩包，版本为1.18.0，适用于Python 3.8，并且是为Linux上的ARM架构（aarch64）设计的。ONNX（Open Neural ...
【ONNX】onnxruntime-gpu无法使用gpu问题（CUDA适配）
豆芽菜
03-01 7411
No worries. Then please check your CUDA and CuDNN versions. They must be compatible to each other. Here is the link which might be helpful:CUDA - onnxruntimeFor ONNXRuntime 1.9.0 package, I think it was built by CUDA 11.4. Ideally it should support 11.x ..
【onnx】onnxruntime-gpu无法使用问题
胡侃有料的博客
07-09 1354
onnxruntime-gpu无法使用。
onnxruntime C#GPU推理闪退问题解决和Log日志使用方法OrtLoggingLevel
q852474220的博客
02-27 918
当我们正确安装CUDA、cudnn和Microsoft.ML.OnnxRuntime.Gpu（NuGet包）后，CPU可以正常推理，但是GPU一运行InferenceSession对象的Run()就闪退，没有任何提示。但是观察任务管理器加载模型时GPU专用内存有少量提升，Cuda性能有波动。这时问题一般出在缺少libwapi.dll上，安装即可。也可以启动onnxruntime的log记录功能查看。程序闪退时，GPU专用内存下降，Cuda性能有波动。
Failed to create CUDAExecutionProvider 使用onnxruntime-gpu未成功调用gpu
大雾的小屋的博客
01-08 5171
最近在使用GPU对onnx模型进行加速过程中（仅针对N卡，毕竟也没有别的显卡了。。），遇到了点问题：就是明明在安装了合适版本的显卡驱动和CUDA后，onnx还是不能够成功调用GPU，并且还出现了先导入torch，再导入onnxruntime就可以成功调用的奇怪现象。
解决安装onnxruntime报错（安装GPU和cpu版本的）
qq_43316734的博客
07-13 1293
下载完成后，在该目录打开终端，进入你创建的虚拟环境，直接使用pip install onnxruntime-1.8.0-cp38-cp38-manylinux_2_17_aarch64.manylinux2014_aarch64.whl。注意要适配python 版本和平台，我这里的是python3.8, Platform: linux-aarch64。pip install onnxruntime最高只能安装到1.4.0版本，需要通过whl安装较新版本（
onnxruntime-gpu报错问题
jinxianwei1999的博客
11-30 4227
问题来源：使用onnxruntime推理时，总是使用cpu；
onnxruntime:, inference_session.cc:1294 operator()] Exception during initialization: std::bad_alloc
cumtchw
12-12 714
Inference device: CPU 2010-02-25 09:56:32.927700435 [E:onnxruntime:, inference_session.cc:1294 operator()] Exception during initialization: std::bad_alloc Exception during initialization: std::bad_alloc
onnxruntime-gpu-1.6.0-cp36-cp36m-linux-aarch64.whl.zip
06-22
标题中的“onnxruntime-gpu-1.6.0-cp36-cp36m-linux-aarch64.whl.zip”是一个针对GPU优化的ONNX运行时库的压缩包，适用于Python 3.6环境，并且是为Linux的aarch64（ARM架构）平台设计的。ONNX（Open Neural Network ...
onnxruntime-gpu-1.15.1-cp38-cp38-linux-aarch64.whl.zip
06-22
标题 "onnxruntime-gpu-1.15.1-cp38-cp38-linux-aarch64.whl.zip" 提供的信息是关于 ONNX Runtime 的一个特定版本，适用于 GPU 加速，并且是为基于 ARM 架构的 Linux 系统（如 NVIDIA Jetson 平台）编译的。...
onnxruntime-gpu-1.16.0-cp38-cp38-linux-aarch64.whl.zip
06-22
标题中的“onnxruntime-gpu-1.16.0-cp38-cp38-linux-aarch64.whl.zip”是一个针对GPU优化的ONNX运行时库的压缩包，适用于Python 3.8环境，并且是为Linux的aarch64（ARM架构64位）平台设计的。ONNX（Open Neural ...
onnxruntime-gpu-1.17.0-cp38-cp38-linux-aarch64.whl.zip
06-22
标题中的“onnxruntime-gpu-1.17.0-cp38-cp38-linux-aarch64.whl.zip”是一个针对GPU优化的ONNX运行时库的压缩包，版本为1.17.0，适用于Python 3.8，并且是专为Linux上的ARM架构（aarch64，即64位ARM处理器）设计的...
onnx模型推理速度慢/ onnx模型推理时gpu没有被占用
zxz669的博客
07-06 225
看看是不是用的onnxruntime （这个是cpu版本的）换成onnruntime-gpu 就好了。
onnxruntime-gpu使用问题
bemy1008的博客
01-13 5831
使用onnx+GPU推理yolov4/v5模型的时候报错： warnings.warn(“Cannot load onnxruntime.capi. Error: ‘{0}’”.format(str(e))) Traceback (most recent call last): File “D:\Program\pyDev\Anaconda\envs\pytorch\lib\site-packages\onnxruntime_init_.py”, line 12, in from onnxruntime.
onnx 导入异常解决
oyjwin的博客
06-18 2556
[GCC 9.3.0] on linux Type "help", "copyright", "credits" or "license" for more information. >>> import onnx Traceback (most recent call last): File "<stdin>", line 1, in <module> File "/home/oyj/anaconda/envs/oyj_torch/lib/python..
onnxruntime安装cannot import name ‘get_all_providers‘，libcurand.so.10: cannot open shared object file
lhyyhlfornew的博客
10-30 2790
onnxruntime分为CPU和GPU两个版本，用pip安装的命令分别是： pip install onnxruntime pip install onnxruntime-gpu 如果只需要在CPU环境下运行只需安装CPU版本，在GPU环境下只需安装GPU版本，检查onnxruntime当前的运行环境可用onnxruntime.get_device()，安装GPU版本一定要安装对应版本的CUDA和Cudnn,例如onnxruntime版本是1.5.1,对应CUDA 10.2,Cudnn8.0，如果版
【环境搭建：onnx模型部署】onnxruntime-gpu安装与测试（python）
热门推荐
JLGao的博客
04-11 3万+
onnx模型部署环境创建
onnxruntime 使用gpu推理
最新发布
07-24
ONNX Runtime 是一种高性能、可移植的机器学习推理框架，旨在提供统一的API来支持多种模型格式，并在各种硬件平台上高效运行。它特别适合于在CPU、GPU甚至其他加速器上进行模型部署。 ### ONNX Runtime 支持 GPU 推理 ONNX Runtime 提供了对GPU的支持，通过充分利用CUDA技术，可以显著提升模型推理速度，特别是在处理大量数据或对性能有高要求的应用场景下。以下是ONNX Runtime如何利用GPU进行推理的一些关键点： 1. **模型加载**：首先需要将模型加载到ONNX Runtime中。对于GPU模型，这通常意味着模型本身已经被优化以便在GPU上运行。 2. **设备配置**：在创建ONNX Runtime会话时，你可以指定使用GPU作为计算资源。例如，在Python环境中，你可以通过设置`execution_providers=['CUDAExecutionProvider']`来指示ONNX Runtime优先使用GPU执行推理任务。 3. **内存管理**：ONNX Runtime会在GPU上分配必要的内存空间用于存储输入数据、中间结果以及最终输出。这包括预处理输入数据以适应模型的要求，以及处理从GPU返回的结果。 4. **并行化和优化**：通过使用GPU，ONNX Runtime能够并行处理大量的矩阵运算和其他数学操作，这对于深度学习模型中的卷积层、全连接层等具有很高的计算密集型特性来说尤为重要。 5. **性能监控**：为了提高效率，ONNX Runtime会自动调整和优化GPU的使用情况，比如动态调整线程数以匹配当前的任务负载，以及使用高级的并行算法来减少延迟时间和提高吞吐量。 6. **兼容性和灵活性**：ONNX Runtime设计的目的是跨平台，这意味着它可以很好地支持不同的GPU架构，如NVIDIA、AMD和Intel的最新GPU系列，并且随着新硬件的发展而持续更新优化策略。 ### 应用实例 假设你需要在基于ONNX的机器学习项目中使用GPU推理，步骤大致如下： ```python import onnxruntime as ort # 加载ONNX模型文件 model_path = 'path_to_your_model.onnx' session = ort.InferenceSession(model_path) # 获取可用的执行提供者，优先选择GPU providers = ['CUDAExecutionProvider', 'CPUExecutionProvider'] ort_session = ort.InferenceSession(model_path, providers=providers) ``` 在上述示例中，`CUDAExecutionProvider`表示我们希望ONNX Runtime尝试使用GPU来进行推理。如果GPU不可用，则会回退到CPU执行。 ### 相关问题: 1. 如何检查我的系统是否支持ONNX Runtime的GPU推理功能? 2. 在ONNX Runtime中调整GPU使用率的最佳实践是什么？ 3. 如果遇到GPU性能瓶颈，应如何排查和优化ONNX Runtime的GPU使用效率？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

frank_jxust

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值