onnxruntime推理CPU GPU切换

最新推荐文章于 2024-07-09 15:05:33 发布
最新推荐文章于 2024-07-09 15:05:33 发布
阅读量5.5k 收藏 2
点赞数
分类专栏： pytorch实践 onnx 文章标签： 深度学习 tensorflow python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/juluwangriyue/article/details/122082235
版权
pytorch实践 同时被 2 个专栏收录
136 篇文章 114 订阅 ¥29.90 ¥99.00
订阅专栏
onnx
15 篇文章 2 订阅
订阅专栏
本文介绍了如何在Anaconda环境中，当同时安装了ONNXRuntime的CPU和GPU版本时，根据需要灵活切换使用CPU或GPU进行推理。通过在创建InferenceSession时设置参数，可以在不卸载GPU库的情况下，实现CPU与GPU版本的选择。
摘要由CSDN通过智能技术生成

onnxruntime推理CPU GPU切换

1、切换CPU与GPU

在anaconda环境下安装了onnxruntime和onnxruntime-gpu，在使用时总是默认调用gpu版本的库。
有时需要对比CPU和GPU的性能，有时因为显存不够只能使用CPU版本的库，但是系统默认调用GPU的库，网上看到一些说法，为了测试CPU只能把GPU的库卸载了，这种说法我不赞成。
其实只要细心，跳转到onnxruntime的InferenceSession定义据可以知道，办法是有的，就是多设置一个参数。
参考代码
注意使用时ONNX_PROVIDERS里面取CUD和CPU中的一个。


ONNX_PROVIDERS = ["CUDAExecutionProvider", "CPUExecutionProvider"]
opt =
了解本专栏 订阅专栏 解锁全文
落花逐流水
关注
专栏目录
订阅专栏
onnxruntime安装了GPU版本，但是还是使用cpu的可能原因
york1996的博客
06-30 2704
pytorch等可以用cuda来运行。确保指定cuda来运行。 ort_session=ort.InferenceSession(onnx_path,providers=[" CUDAExecutionProvider "]) # CUDAExecutionProvider CPUExecutionProvider 可能原因是没有安装cudnn，可以用conda install cudnn试试。gpu版本比cpu版本还是要快四五倍的。...
[C++][onnxruntime]攻克onnxruntime之自动切换CPU和GPU
FL1623863129的博客
06-21 2642
要求：如果你用的onnxruntime是cpu版本的就用cpu，如果你用onnxruntime是gpu版本则自动使用GPU，这样就不用每次换个库来回修改代码了。这个怎么实现呢，具体看下面代码。
【onnx】onnxruntime-gpu无法使用问题
胡侃有料的博客
07-09 1593
onnxruntime-gpu无法使用。
onnxruntime CPU和GPU推理测试
GeneralJing的专栏
11-19 1万+
最近在做移动端模型移植的工作，在转换为onnx中间模型格式的时候，利用onnxruntime加载onnx模型进行推理，为了对比CPU与GPU的推理时间，需要分别进行测试。 onnxruntime的CPU和GPU测试的方式，百度了一下没有找到合适的解决方式，后来问了其他同事，大概知道了。如果要测试CPU的推理时间，Python环境需要安装onnxruntime，如果测试GPU的推理时间，Python环境就需要卸载CPU版本，安装onnxruntime-gpu，然后进行推理时间测试。 2.66s-ma
深度学习模型部署——基于Onnx Runtime的深度学习模型CPU与GPU部署（C++实现）
知来者逆的博客
05-18 5903
以上就是在win 10下使用Onnx Runtime用CPU与GPU来对onnx模型进行推理部署的对比，可以明显的看出来，使用GPU之后的推理速度，但在正式的大型项目中，在win下使用GPU部署模型是不建议，一般都会选择Linux,那样对GPU的利用率会高出不少，毕竟蚊腿肉也是肉。
keras在TensorFlow-GPU和CPU中来回切换，以及GPU显存不足的缓解方式（切换原因：GPU显存实在不足）
weixin_58420301的博客
03-22 4055
TensorFlow中GPU显存不足的问题与CPU切换为CPU的问题
【环境搭建：onnx模型部署】onnxruntime-gpu安装与测试（python）
热门推荐
JLGao的博客
04-11 3万+
onnx模型部署环境创建
onnxruntime指定gpu设备
jiangwei741的博客
11-10 1743
https://github.com/cap-ntu/ML-Model-CI/issues/37
onnxruntime-win-x64-gpu-1.16.2.zip
11-17
总之，"onnxruntime-win-x64-gpu-1.16.2.zip"是一个强大的工具，用于在Windows x64平台上利用GPU加速ONNX模型的推理。通过理解ONNX Runtime的工作原理和特性，开发者可以有效地利用此库构建高性能的应用程序。
Python库 | onnxruntime-1.0.0-cp35-cp35m-manylinux1_x86_64.whl
02-18
总结来说，"onnxruntime-1.0.0-cp35-cp35m-manylinux1_x86_64.whl" 是ONNX Runtime的特定版本，适用于Python 3.5环境的64位Linux系统，是实现高性能、跨框架的机器学习模型推理的重要工具。通过在Python环境中安装这...
onnxruntime-1
10-18
2. **高性能优化**：它针对CPU和GPU进行了优化，可以充分利用硬件资源，提供高效的模型推理服务。对于大规模部署的场景，这种性能提升至关重要。 3. **多平台支持**：ONNX Runtime可在Windows、Linux和macOS等操作...
onnxruntime-1.14.1-cp39-cp39-linux_armv7l.whl.zip
06-10
1. **跨框架兼容性**：ONNXRuntime 允许开发者在不同的深度学习框架之间无缝切换，因为它能解析并运行 ONNX 格式的模型。ONNX 是一个开放标准，旨在促进模型的互操作性和可移植性。 2. **高性能**：该引擎优化了...
ONNX文件导出与ONNXRuntime的推理部署流程(CPU/GPU)
weixin_60535956的博客
10-10 3671
onnx框架转换
AttributeError: module ‘onnxruntime‘ has no attribute ‘InferenceSession‘
SimpleLearning
04-24 4573
万丈高楼平地起~ 个人使用的机器上装有onnxruntime包，onnxruntime-gpu的包，预测速度很慢； 猜测应该是没用上onnxruntime-gpu，故卸载onnxruntime； 运行，又爆出bug，如标题； 无计可施，只能寄希望于重装大法： pip uninstall onnxruntime-gpu pip install onnxruntime-gpu 然后就fix 了这个bug； cpu要装onnxruntime，GPU机器一定要装onnxruntime-gpu！ 有
onnxruntime推理时切换CPU/GPU以及修改onnx输入输出为动态
CaiDou的博客
09-02 1万+
onnx模型作为中间模型，相较于pytorch直接推理，是有加速度效果的，且推理代码简单，不需要load各种网络。最近某些项目因为显存不够，onnxruntime推理时切换CPU/GPU，实现某些模型在CPU上推理，某些在GPU上推理。查了一些别人的文章发现很多人都说onnxruntime推理没法像pytorch那样指定GPU,CPU,只能卸载一个GPU用CPU，卸载CPU用GPU。个人感觉不应该是这样的，点进去源码一看，明明有配置CPU,GPU的参数，而且很简单。
onnxruntime-gpu使用记录
chen_znn的博客
02-06 2607
使用onnxruntime-gpu进行模型推理
【onnx 模型推理加速】如何验证 onnxruntime-gpu 版本 安装成功
赖德发的博客
04-21 2701
首先安装gpu 版本的onnx 包。
onnxruntime 使用gpu推理
最新发布
07-24
ONNX Runtime 是一种高性能、可移植的机器学习推理框架，旨在提供统一的API来支持多种模型格式，并在各种硬件平台上高效运行。它特别适合于在CPU、GPU甚至其他加速器上进行模型部署。 ### ONNX Runtime 支持 GPU 推理 ONNX Runtime 提供了对GPU的支持，通过充分利用CUDA技术，可以显著提升模型推理速度，特别是在处理大量数据或对性能有高要求的应用场景下。以下是ONNX Runtime如何利用GPU进行推理的一些关键点： 1. **模型加载**：首先需要将模型加载到ONNX Runtime中。对于GPU模型，这通常意味着模型本身已经被优化以便在GPU上运行。 2. **设备配置**：在创建ONNX Runtime会话时，你可以指定使用GPU作为计算资源。例如，在Python环境中，你可以通过设置`execution_providers=['CUDAExecutionProvider']`来指示ONNX Runtime优先使用GPU执行推理任务。 3. **内存管理**：ONNX Runtime会在GPU上分配必要的内存空间用于存储输入数据、中间结果以及最终输出。这包括预处理输入数据以适应模型的要求，以及处理从GPU返回的结果。 4. **并行化和优化**：通过使用GPU，ONNX Runtime能够并行处理大量的矩阵运算和其他数学操作，这对于深度学习模型中的卷积层、全连接层等具有很高的计算密集型特性来说尤为重要。 5. **性能监控**：为了提高效率，ONNX Runtime会自动调整和优化GPU的使用情况，比如动态调整线程数以匹配当前的任务负载，以及使用高级的并行算法来减少延迟时间和提高吞吐量。 6. **兼容性和灵活性**：ONNX Runtime设计的目的是跨平台，这意味着它可以很好地支持不同的GPU架构，如NVIDIA、AMD和Intel的最新GPU系列，并且随着新硬件的发展而持续更新优化策略。 ### 应用实例 假设你需要在基于ONNX的机器学习项目中使用GPU推理，步骤大致如下： ```python import onnxruntime as ort # 加载ONNX模型文件 model_path = 'path_to_your_model.onnx' session = ort.InferenceSession(model_path) # 获取可用的执行提供者，优先选择GPU providers = ['CUDAExecutionProvider', 'CPUExecutionProvider'] ort_session = ort.InferenceSession(model_path, providers=providers) ``` 在上述示例中，`CUDAExecutionProvider`表示我们希望ONNX Runtime尝试使用GPU来进行推理。如果GPU不可用，则会回退到CPU执行。 ### 相关问题: 1. 如何检查我的系统是否支持ONNX Runtime的GPU推理功能? 2. 在ONNX Runtime中调整GPU使用率的最佳实践是什么？ 3. 如果遇到GPU性能瓶颈，应如何排查和优化ONNX Runtime的GPU使用效率？
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

落花逐流水

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值