onnxruntime推理CPU GPU切换

最新推荐文章于 2024-05-29 01:10:08 发布
最新推荐文章于 2024-05-29 01:10:08 发布
阅读量5.3k 收藏 2
点赞数
分类专栏： pytorch实践 onnx 文章标签： 深度学习 tensorflow python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/juluwangriyue/article/details/122082235
版权
pytorch实践 同时被 2 个专栏收录
136 篇文章 114 订阅 ¥29.90 ¥99.00
订阅专栏
onnx
15 篇文章 2 订阅
订阅专栏

onnxruntime推理CPU GPU切换

1、切换CPU与GPU

在anaconda环境下安装了onnxruntime和onnxruntime-gpu，在使用时总是默认调用gpu版本的库。
有时需要对比CPU和GPU的性能，有时因为显存不够只能使用CPU版本的库，但是系统默认调用GPU的库，网上看到一些说法，为了测试CPU只能把GPU的库卸载了，这种说法我不赞成。
其实只要细心，跳转到onnxruntime的InferenceSession定义据可以知道，办法是有的，就是多设置一个参数。
参考代码
注意使用时ONNX_PROVIDERS里面取CUD和CPU中的一个。


ONNX_PROVIDERS = ["CUDAExecutionProvider", "CPUExecutionProvider"]
opt = rt.SessionOptions()
sess = rt
了解本专栏 订阅专栏 解锁全文
落花逐流水
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
onnxruntime CPU和GPU推理测试
GeneralJing的专栏
11-19 1万+
最近在做移动端模型移植的工作，在转换为onnx中间模型格式的时候，利用onnxruntime加载onnx模型进行推理，为了对比CPU与GPU的推理时间，需要分别进行测试。 onnxruntime的CPU和GPU测试的方式，百度了一下没有找到合适的解决方式，后来问了其他同事，大概知道了。如果要测试CPU的推理时间，Python环境需要安装onnxruntime，如果测试GPU的推理时间，Python环境就需要卸载CPU版本，安装onnxruntime-gpu，然后进行推理时间测试。 2.66s-ma
onnxruntime gpu
05-31
在本案例中，提供的压缩包“onnxruntime-win-x64-gpu-1.11.1”包含了Windows 64位系统下，针对GPU加速的ONNX Runtime库。 首先，让我们深入了解ONNX（Open Neural Network Exchange）和ONNX Runtime。ONNX是一种...
onnxruntime推理时切换CPU/GPU以及修改onnx输入输出为动态
CaiDou的博客
09-02 9244
onnx模型作为中间模型，相较于pytorch直接推理，是有加速度效果的，且推理代码简单，不需要load各种网络。最近某些项目因为显存不够，onnxruntime推理时切换CPU/GPU，实现某些模型在CPU上推理，某些在GPU上推理。查了一些别人的文章发现很多人都说onnxruntime推理没法像pytorch那样指定GPU,CPU,只能卸载一个GPU用CPU，卸载CPU用GPU。个人感觉不应该是这样的，点进去源码一看，明明有配置CPU,GPU的参数，而且很简单。
深度学习模型部署——基于Onnx Runtime的深度学习模型CPU与GPU部署（C++实现）
u013250861的博客
05-29 1021
许多机器学习和深度学习模型都是在基于 Python 的框架中开发和训练的，例如 PyTorch 和 TensorFlow 等。但是，当需要将这些训练好模型部署到生产环境中时，通常会希望将模型集成到生产流程中，而这些流程大多是用 C++ 编写的，因为 C++ 可以提供更快的实时性能。目前有许多工具和框架可以帮助我们将预训练模型部署到 C++ 应用程序中。
onnxruntime安装了GPU版本，但是还是使用cpu的可能原因
york1996的博客
06-30 2600
pytorch等可以用cuda来运行。确保指定cuda来运行。 ort_session=ort.InferenceSession(onnx_path,providers=[" CUDAExecutionProvider "]) # CUDAExecutionProvider CPUExecutionProvider 可能原因是没有安装cudnn，可以用conda install cudnn试试。gpu版本比cpu版本还是要快四五倍的。...
onnxruntime安装与使用（附实践中发现的一些问题）
热门推荐
qq_43673118的博客
03-05 6万+
关于onnxruntime的一些基本参考链接： onnxruntime官方文档 将pytorch模型转换为onnx模型并用onnxruntime进行推理(Pytorch官方文档) 一、onnxruntime安装 (1)使用CPU 如果只用CPU进行推理，通过下面这个命令安装。【如果要用GPU推理，不要运行下面这个命令】 pip install onnxruntime (2)使用GPU 安装命令为： pip install onnxruntime-gpu 安装 onnxruntime-gpu 注意事项
[C++][onnxruntime]攻克onnxruntime之自动切换CPU和GPU
FL1623863129的博客
06-21 2332
要求：如果你用的onnxruntime是cpu版本的就用cpu，如果你用onnxruntime是gpu版本则自动使用GPU，这样就不用每次换个库来回修改代码了。这个怎么实现呢，具体看下面代码。
ONNXRuntime (Python) GPU 部署配置记录
豆芽菜
03-01 1万+
0. 前言 最近偶尔捣鼓了一下onnxruntime-gpu(python版本)的服务端部署，于是打算简单记录一下一些关键步骤，免得以后忘了。确实，有些时候我们并不全是需要把模型转成MNN/ncnn/TNN后走移动端部署那套，服务端的部署也是个很重要的场景。比较常用的服务端部署方案包括tensorrt、onnxruntime-gpu等等。onnxruntime-gpu版本可以说是一个非常简单易用的框架，因为通常用pytorch训练的模型，在部署时，会首先转换成onnx，而onnxruntime和o..
onnxruntime GPU 部署
july_Ai的博客
04-15 3487
果然一知半解是不得行的！ 安装onnxruntime-gpu（注意是gpu版本） pip install onnxruntime-gpu 确认是否安装成功 >>> import onnxruntime >>> onnxruntime.get_device() 'GPU' >>> onnxruntime.get_available_providers() ['TensorrtExecutionProvider', 'CUDAExecutionPr
C#使用OnnxRuntime进行Resnet50分类（支持GPU）
gaooolianggg的专栏
07-19 4757
在深度学习部署环节中，基于C#的部署资料很少。本文展示了如何使用C#来部署一个基于Resnet50的图像分类任务。 本文的代码来自OnnxRuntime自带的示例。这里我已经把代码和深度学习模型文件整理好了，可以直接下载： 代码及深度学习模型onnx文件下载连接 首先，我们需要配置GPU运行环境（如果使用CPU可以省略这一步骤）： 1. 安装Nvidia显卡驱动、CUDA、cudnn。并且CUDA和Cudnn的版本最好满足对应关系，否则...
onnxruntime不使用GPU，怎么办
zh515858237的专栏
08-26 1531
先卸载onnxruntime和onnxruntime-gpu，再重新安装onnxruntime-gpu。
AttributeError: module ‘onnxruntime‘ has no attribute ‘InferenceSession‘
SimpleLearning
04-24 4219
万丈高楼平地起~ 个人使用的机器上装有onnxruntime包，onnxruntime-gpu的包，预测速度很慢； 猜测应该是没用上onnxruntime-gpu，故卸载onnxruntime； 运行，又爆出bug，如标题； 无计可施，只能寄希望于重装大法： pip uninstall onnxruntime-gpu pip install onnxruntime-gpu 然后就fix 了这个bug； cpu要装onnxruntime，GPU机器一定要装onnxruntime-gpu！ 有
onnxruntime-win-x64-gpu-1.14.0
06-09
标题中的“onnxruntime-win-x64-gpu-1.14.0”指的是ONNX Runtime的Windows 64位GPU版本，版本号为1.14.0。ONNX Runtime是一个高性能的推理引擎，主要用于运行经过训练的机器学习模型，它支持多种框架如TensorFlow、...
onnxruntime-win-x64-1.14.1
05-05
标题 "onnxruntime-win-x64-1.14.1" 提供的是 ONNX Runtime 的一个特定版本，这是微软开发的一个开源高性能推理引擎，用于运行优化过的深度学习模型。这个版本是为 Windows 64 位操作系统设计的，并且支持 CPU 和 ...
onnxruntime-gpu-1.18.0-cp38-cp38-linux-aarch64.whl.zip
最新发布
06-22
标题中的“onnxruntime-gpu-1.18.0-cp38-cp38-linux-aarch64.whl.zip”是一个针对GPU优化的ONNX运行时库的压缩包，版本为1.18.0，适用于Python 3.8，并且是为Linux上的ARM架构（aarch64）设计的。ONNX（Open Neural ...
onnxruntime_gpu-1.2.0-cp36-cp36m-manylinux2010_x86_64.whl
05-06
onnxruntime_gpu-1.2.0-cp36-cp36m-manylinux2010_x86_64.whl是onnx模型推理用的pip包，GPU版本，可取官网下载，但是速度较慢
ONNX模型推理使用多核CPU加速推理
weixin_43999691的博客
05-17 6091
对于嵌入式设备，将模型转成onnx后，可以方便的将pytorch或者tensorflow的模型在嵌入式设备上运行，但是onnx模型默认只调用一个CPU核心去做推理，所以有些嵌入式设备有多核的CPU，推理推理可以适当的加速。
onnxruntime-gpu + windows + vs2019 cuda加速推理C++样例超详细
m0_59156726的博客
10-19 1万+
onnxruntime-gpu C++ windows推理详细样例
onnxruntime-gpu使用记录
chen_znn的博客
02-06 2481
使用onnxruntime-gpu进行模型推理
onnxruntime推理onnx网络
01-12
以下是使用onnxruntime进行onnx网络推理的示例代码： ```python import onnxruntime as ort import numpy as np # 加载onnx模型 model_path = "path/to/your/onnx/model.onnx" session = ort.InferenceSession(model_path) # 准备输入数据 input_name = session.get_inputs()[0].name input_shape = session.get_inputs()[0].shape input_data = np.random.random(input_shape).astype(np.float32) # 进行推理 output_name = session.get_outputs()[0].name output = session.run([output_name], {input_name: input_data}) # 打印输出结果 print(output) ``` 请注意，你需要将`model_path`替换为你的onnx模型的实际路径。此外，你还需要安装`onnxruntime`库，可以使用以下命令进行安装： ```shell pip install onnxruntime ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

落花逐流水

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值