onnxruntime指定gpu设备

最新推荐文章于 2025-03-11 10:31:34 发布
最新推荐文章于 2025-03-11 10:31:34 发布
阅读量1.9k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jiangwei741/article/details/127787942
版权

GitHub 持续集成 ML-Model-CI 自动化测试 项目部署
关键词由CSDN通过智能技术生成
本文探讨了如何利用GitHub的ML-Model-CI工具进行持续集成。通过设置自动化测试和部署流程，确保代码质量并加速项目开发。文章详细介绍了配置过程和关键概念。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

https://github.com/cap-ntu/ML-Model-CI/issues/37

如何使用 ONNX 结合 GPU 加速推理（CUDA 与 cuDNN 简明指南）
黎国溥
09-10 7490
在深度学习模型推理中，使用 GPU 进行加速是提升模型推理速度的关键方式之一。本文将带大家一步步了解如何使用 ONNX Runtime 结合 NVIDIA 的 CUDA 和 cuDNN 进行 GPU 加速。
onnxruntime_gpu-1.10.0-cp36-cp36m-linux_aarch64.whl
01-04
arm、 jetson nano 可用的 onnxruntime-gpu
onnxruntime_gpu-1.2.0-cp36-cp36m-manylinux2010_x86_64.whl
05-06
onnxruntime_gpu-1.2.0-cp36-cp36m-manylinux2010_x86_64.whl是onnx模型推理用的pip包，GPU版本，可取官网下载，但是速度较慢
ONNX runtime指定GPU
weixin_41449637的博客
05-07 1万+
资料参考：链接 self.onnx_session = onnxruntime.InferenceSession(onnx_path) self.onnx_session.set_providers(['CUDAExecutionProvider'], [ {'device_id': 1}]) 在onnx_session.set_providers中设置即可
ONNX Runtime（onnxruntime 库）：Microsoft 开发的高性能推理引擎
最新发布
彬彬侠的博客
03-11 1578
ONNX Runtime 是 Microsoft 开发的高性能推理引擎，用于运行 ONNX（Open Neural Network Exchange）格式的深度学习模型。它的主要目标是 加速模型推理，并支持 跨平台部署，使深度学习模型可以在 CPU、GPU、TPU、FPGA 和边缘设备 上高效运行。通过 pip install onnxruntime 安装。适用于深度学习模型的优化和加速，尤其是 跨框架部署和推理任务。可与 PyTorch、TensorFlow 结合，通过 ONNX 转换 提高推理速度并优化
【环境搭建：onnx模型部署】onnxruntime-gpu安装与测试（python）
热门推荐
JLGao的博客
04-11 5万+
onnx模型部署环境创建
vs2022配置onnxruntime—gpu
weixin_43929198的博客
09-20 2996
这里采用的是新版版本对应很重要，尝了一下onnxruntime-gpu最新版1.60搭配cuda1.7，文末给测试搭建是否成功的简易代码。
深度学习模型部署——基于Onnx Runtime的深度学习模型CPU与GPU部署（C++实现）
知来者逆的博客
05-18 1万+
以上就是在win 10下使用Onnx Runtime用CPU与GPU来对onnx模型进行推理部署的对比，可以明显的看出来，使用GPU之后的推理速度，但在正式的大型项目中，在win下使用GPU部署模型是不建议，一般都会选择Linux,那样对GPU的利用率会高出不少，毕竟蚊腿肉也是肉。
onnxruntime-gpu-1.5.2-cp36-cp36m-linux-aarch64.whl.zip
06-22
标题中的“onnxruntime-gpu-1.5.2-cp36-cp36m-linux-aarch64.whl.zip”是一个针对GPU优化的ONNX运行时库的压缩包，适用于Python 3.6环境，并且是为Linux的aarch64（ARM架构）平台设计的。ONNX（Open Neural Network ...
onnxruntime-linux-x64-gpu-1.16.2.tgz
11-17
此“onnxruntime-linux-x64-gpu-1.16.2.tgz”压缩包包含了针对Linux平台上x64架构的ONNX Runtime库，特别是针对GPU加速的版本。这个库不仅包括了必要的动态链接库（.so文件），还提供了头文件（.h文件）以便开发者在...
onnxruntime-win-x64-gpu-1.12.0.zip
12-20
标题中提到的 "onnxruntime-win-x64-gpu-1.12.0.zip" 是一个特定版本的ONNX Runtime的GPU优化版本，针对Windows平台上的64位系统进行了构建。这个压缩包包含了一系列的文件，专门用于在支持NVIDIA GPU的Windows系统...
onnxruntime-gpu-1.16.0-cp38-cp38-linux-aarch64
03-11
标题 "onnxruntime-gpu-1.16.0-cp38-cp38-linux-aarch64" 指的是 ONNX Runtime 的 GPU 版本，版本号为 1.16.0，针对 Python 3.8 的运行环境，并且是专为 Linux 平台上的 ARM64 架构（AARCH64）设计的。ONNX Runtime ...
onnxruntime-1.5.2.jar
12-03
onnx的java包，pom引入后可以试验java调用onnx文件进行cpu模型推理。 具体见https://github.com/microsoft/onnxruntime/blob/master/java/src/test/java/sample/ScoreMNIST.java 和 https://github.com/microsoft/onnxruntime/blob/master/docs/Java_API.md#getting-started
onnxruntime-gpu 使用和配置
WGS.
12-16 1113
onnxruntime-gpu 使用和配置
使用 onnxruntime-gpu 进行推理，运行时间久显存逐渐递增无法减少
xiao_ling_yun的博客
06-26 2776
将onnx模型部署为接口后，使用 onnxruntime-gpu 进行持续推理，运行时间久显存逐渐递增无法减少
ONNXRuntime (Python) GPU 部署配置记录
豆芽菜
03-01 1万+
0. 前言 最近偶尔捣鼓了一下onnxruntime-gpu(python版本)的服务端部署，于是打算简单记录一下一些关键步骤，免得以后忘了。确实，有些时候我们并不全是需要把模型转成MNN/ncnn/TNN后走移动端部署那套，服务端的部署也是个很重要的场景。比较常用的服务端部署方案包括tensorrt、onnxruntime-gpu等等。onnxruntime-gpu版本可以说是一个非常简单易用的框架，因为通常用pytorch训练的模型，在部署时，会首先转换成onnx，而onnxruntime和o..
onnxruntime推理时切换CPU/GPU以及修改onnx输入输出为动态
CaiDou的博客
09-02 1万+
onnx模型作为中间模型，相较于pytorch直接推理，是有加速度效果的，且推理代码简单，不需要load各种网络。最近某些项目因为显存不够，onnxruntime推理时切换CPU/GPU，实现某些模型在CPU上推理，某些在GPU上推理。查了一些别人的文章发现很多人都说onnxruntime推理没法像pytorch那样指定GPU,CPU,只能卸载一个GPU用CPU，卸载CPU用GPU。个人感觉不应该是这样的，点进去源码一看，明明有配置CPU,GPU的参数，而且很简单。
onnxruntime同时加载两个模型GPU的困惑
weixin_40970506的博客
04-02 7327
两个模型都是batch_size=8 GPU原始使用量： 1、初始化模型一之后： 2、初始化模型二之后： 3、模型一推理一次8张图片之后： /4、模型一再推理一次之后： 一下子占完了，后面再多次推理没问题。 **疑惑的地方，为什么第二次推理还要增加gpu的使用量，第一次运行按理说已经申请了内存啊** **？？？？？？** 5、模型二开始推理，就报不足，因为要申请gpu内存，模型一占却第二次...
谷歌Colab，Cuda12下安装onnxruntime-gpu！
TonyNotes的博客
01-19 3723
这个问题折腾了好一会儿，记录一下！Colab悄悄的吧Cuda升级到了CUDA12。但是Onnxruntime并没有。目前官方版为1.16.3 仅支持Cuda11.8。如果你想在Colab上使用ONNX就会遇到.so报错，无法调用GPU了。下面记录下解决方法和过程。
onnxruntime调用GPU
01-03
### 配置和使用 ONNXRuntime 调用 GPU 进行推理加速 为了利用 GPU 来加速模型推理过程，需要安装支持 GPU 的 ONNX Runtime 版本 `onnxruntime-gpu` 并确保环境已正确设置。 #### 安装 onnxruntime-gpu 首先，通过 pip 或 conda 安装适用于 GPU 的 ONNX Runtime： 对于 pip 用户： ```bash pip install onnxruntime-gpu ``` 对于 Conda 用户： ```bash conda install -c conda-forge onnxruntime-gpu ``` 确认 CUDA 和 cuDNN 已经正确安装并配置好，因为这些库是运行基于 GPU 推理所必需的[^1]。 #### 使用 Python API 设置 GPU 提供者 一旦安装完成，在加载 ONNX 模型之前指定要使用的执行提供程序。默认情况下，如果检测到了可用的 NVIDIA GPU 设备，则会自动优先选择它；但是也可以显式地定义这一点来确保行为一致性和可移植性。 下面是一个简单的例子展示怎样创建 Session 对象时指明使用 GPU Provider: ```python import onnxruntime as ort import numpy as np # 创建 session 时候传入 ['CUDAExecutionProvider'] 参数表示启用GPU计算资源 session = ort.InferenceSession("model.onnx", providers=['CUDAExecutionProvider']) input_name = session.get_inputs()[0].name output_name = session.get_outputs()[0].name dummy_input = np.random.randn(1, 3, 224, 224).astype(np.float32) result = session.run([output_name], {input_name: dummy_input}) print(result) ``` 这段代码片段展示了如何初始化一个带有特定设备类型的 InferenceSession 实例，并传递输入数据给模型以获取预测结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值