onnx模型部署:onnxruntime-gpu安装与测试(Python版)

最新推荐文章于 2024-09-13 21:35:20 发布
最新推荐文章于 2024-09-13 21:35:20 发布
阅读量1.6k 收藏 1
点赞数
分类专栏： 视觉算法部署 文章标签： python 开发语言 深度学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_53545309/article/details/140494996
版权
视觉算法部署 专栏收录该内容
22 篇文章 1 订阅 ¥69.90 ¥99.00
订阅专栏

目录

1. onnxruntime 安装

2. onnxruntime-gpu 安装

2.1 方法一：onnxruntime-gpu依赖于本地主机上cuda和cudnn

2.2 方法二：onnxruntime-gpu不依赖于本地主机上cuda和cudnn

2.2.1 举例：创建onnxruntime-gpu==1.14.1的conda环境

2.2.2 举例：实例测试

1. onnxruntime 安装

onnx 模型在 CPU 上进行推理，在conda环境中直接使用pip安装即可

pip install onnxruntime

2. onnxruntime-gpu 安装


想要 onnx 模型在 GPU 上加速推理，需要安装 onnxruntime-gpu 。有两种思路：

依赖于 本地主机 上已安装的 cuda 和 cudnn 版本
不依赖于 本地主机 上已安装的 cuda 和 cudnn 版本
要注意：onnxruntime-gpu, cuda, cudnn三者的版本要对应，否则会报错 或 不能使用GPU推理。
onnxruntime-gpu, cuda, cudnn版本对应关系详见: 官网

了解本专栏 订阅专栏 解锁全文
今夕是何年，
关注
专栏目录
订阅专栏
【环境搭建：onnx模型部署】onnxruntime-gpu安装与测试（python）(1)
2401_84008985的博客
04-13 1735
【代码】【环境搭建：onnx模型部署】onnxruntime-gpu安装与测试（python）(1)
【环境搭建：onnx模型部署】onnxruntime-gpu安装与测试（python）
2401_83703893的博客
04-09 841
在 conda 环境中安装，不依赖于 本地主机 上已安装的 cuda 和 cudnn 版本，灵活方便。如果需要其他的版本， 可以根据 onnxruntime-gpu, cuda, cudnn 三者对应关系自行组合测试。下面，从创建conda环境，到实现在GPU上加速onnx模型推理进行举例。
【环境搭建： CUDA Version: 12.3 】onnxruntime-gpu安装 CUDA Version: 12.3
dubochao_xinxi的博客
08-04 1368
这篇博客详细介绍了如何在 Ubuntu 16.04 环境下搭建环境，并进行 ONNX 模型的部署。
ONNX Runtime 安装和配置指南
最新发布
gitblog_07350的博客
09-13 634
ONNX Runtime 安装和配置指南 onnxruntime microsoft/onnxruntime: 是一个用于运行各种机器学习模型的开源库。适合对机器学习和深度学习有兴趣的人，特别是在开发和部署机器学习模型时需要处理各种不同框架和算子的人。特点是支持多种机器学习框架和算子，包括 TensorFlow、PyTo...
onnxruntime_gpu-1.2.0-cp36-cp36m-manylinux2010_x86_64.whl
05-06
onnxruntime_gpu-1.2.0-cp36-cp36m-manylinux2010_x86_64.whl是onnx模型推理用的pip包，GPU版本，可取官网下载，但是速度较慢
【Python】使用 onnxruntime-gpu 进行推理，解决运行时间久了显存被拉爆了
原小明
03-07 1962
使用 onnxruntime-gpu 进行推理，解决运行时间久了显存被拉爆了。运行时，配置 provder ,如运行时，使用 cuda 进行推理。参数来进行限制，比如2G显存。
【JetsonNano】onnxruntime-gpu 环境编译和安装，支持 Python 和 C++ 开发
原小明
03-11 2870
jetson nano 编译安装 onnxruntime-gpu ，并使用 C++ 和 Python 进行推理
onnxruntime配置
weixin_45303602的博客
09-02 5967
runtime指的是程序运行环境，是计算机系统中负责程序运行的组件。在编写程序时，需要考虑程序与运行环境之间的交互，以及程序在运行时所需的资源和环境。在不同的编程语言中，runtime的实现方式也会有所不同。例如在Java中，runtime由Java虚拟机（JVM）实现，而在C++中，runtime可能由操作系统提供的动态链接库（DLL）实现。通常情况下，程序员不需要直接操作runtime。但是，在调试程序或优化程序性能时，需要对runtime有一定的了解和掌握。
onnxruntime-gpu-1.7.0-cp36-cp36m-linux-aarch64.whl.zip
06-22
适用JetPack 4.4 / 4.4.1 / 4.5 / 4.5.1 / 4.6 / 4.6.1，jetson自带的python3.6环境，请勿升级jetson系统默认python3版本
windows下解决onnxruntime-cpu和gpu安装报错
wjh19970930的博客
08-21 542
链接：https://pypi.org/project/onnxruntime/1.8.0/#files。下载完成后，在该目录打开终端，进入你创建的虚拟环境，直接使用pip install <path_to_whl_file>报错原因：pip install onnxruntime最高只能安装到1.4.0版本，需要通过whl安装较新版本。下载完成后，到存放whl文件的目录，打开终端，进入需要安装的虚拟环境，通过以下命令来安装下载的。pip无法安装，报上面的错误，用下面的安装方法。来获取相关的下载信息。
pyonnx-example:使用python实现基于onnxruntime的一些模型推断
03-12
例子 介绍 使用python实现基于onnxruntime推理框架的深度学习模型的推理功能。 可以将onnx模型转换为大多数主流的深度学习推理框架模型，因此您可以在部署模型之前测试onnx模型是否正确。 注意：此处的模型由pytorch 1.6训练，并由onnx 1.8.1转换 要求 onnx == 1.8.1 onnxruntime == 1.7.0或onnxruntime-gpu == 1.3.0 opencv-python == 4.2.0.32 运行演示 该演示以main_xxx_.py格式命名。您可以使用以下示例运行代码。 python main_pose_.py --det_model_path weights/yolov5s.onnx \ --pose_model_path data/det/zidane.jpg \ -
onnxruntime-win-x64-gpu-1.14.0
06-09
标题中的“onnxruntime-win-x64-gpu-1.14.0”指的是ONNX Runtime的Windows 64位GPU版本，版本号为1.14.0。ONNX Runtime是一个高性能的推理引擎，主要用于运行经过训练的机器学习模型，它支持多种框架如TensorFlow、...
【环境搭建：onnx模型部署】onnxruntime-gpu安装与测试（python）(2)
2401_84004012的博客
04-22 1272
在 conda 环境中安装，不依赖于 本地主机 上已安装的 cuda 和 cudnn 版本，灵活方便。如果需要其他的版本， 可以根据 onnxruntime-gpu, cuda, cudnn 三者对应关系自行组合测试。想要 onnx 模型在 GPU 上加速推理，需要安装 onnxruntime-gpu。onnx 模型在 CPU 上进行推理，在conda环境中直接使用pip安装即可。下面，从创建conda环境，到实现在GPU上加速onnx模型推理进行举例。
【onnx 模型推理加速】如何验证 onnxruntime-gpu 版本 安装成功
赖德发的博客
04-21 3342
首先安装gpu 版本的onnx 包。
深度学习模型部署——基于Onnx Runtime的深度学习模型CPU与GPU部署（C++实现）
知来者逆的博客
05-18 7159
以上就是在win 10下使用Onnx Runtime用CPU与GPU来对onnx模型进行推理部署的对比，可以明显的看出来，使用GPU之后的推理速度，但在正式的大型项目中，在win下使用GPU部署模型是不建议，一般都会选择Linux,那样对GPU的利用率会高出不少，毕竟蚊腿肉也是肉。
谷歌Colab，Cuda12下安装onnxruntime-gpu！
TonyNotes的博客
01-19 3107
这个问题折腾了好一会儿，记录一下！Colab悄悄的吧Cuda升级到了CUDA12。但是Onnxruntime并没有。目前官方版为1.16.3 仅支持Cuda11.8。如果你想在Colab上使用ONNX就会遇到.so报错，无法调用GPU了。下面记录下解决方法和过程。
onnxruntime-gpu-c++部署
05-10
onnxruntime-gpu-c++是一个用于在GPU上运行模型的C++库，它支持使用ONNX格式的模型进行推理。下面是一个简单的部署步骤： 1. 安装CUDA和cuDNN onnxruntime-gpu-c++需要CUDA和cuDNN来加速模型推理。您需要安装与onnxruntime-gpu-c++版本兼容的CUDA和cuDNN。您可以从NVIDIA官方网站下载并安装这些软件。 2. 安装onnxruntime-gpu-c++ 您可以从onnxruntime-gpu-c++的GitHub仓库中下载源代码，并使用CMake生成库文件。在生成过程中，您需要指定CUDA和cuDNN的路径。 3. 加载模型 使用onnxruntime-gpu-c++加载ONNX格式的模型。您可以使用onnxruntime-cxx库中的API来加载模型并进行推理。以下是一个简单的示例代码： ```cpp #include <iostream> #include <vector> #include <chrono> #include <onnxruntime_cxx_api.h> int main() { Ort::SessionOptions session_options; Ort::Env env(ORT_LOGGING_LEVEL_WARNING, "test"); Ort::Session session(env, "model.onnx", session_options); Ort::AllocatorWithDefaultOptions allocator; Ort::Value input_tensor = Ort::Value::CreateTensor<float>(allocator, {1, 3, 224, 224}); float* input_tensor_data = input_tensor.GetTensorMutableData<float>(); // fill input tensor with data ... std::vector<const char*> input_names = {"input"}; std::vector<const char*> output_names = {"output"}; std::vector<int64_t> input_shape = {1, 3, 224, 224}; std::vector<float> output_data(1000); Ort::RunOptions run_options; Ort::TensorSlicer<float> input_tensor_slicer(input_tensor, input_shape); auto start_time = std::chrono::high_resolution_clock::now(); for (auto& slice : input_tensor_slicer) { Ort::Value input_tensor_slice = Ort::Value::CreateTensor<float>(allocator, slice.shape().data(), slice.shape().size(), slice.data(), slice.size()); Ort::Value output_tensor = session.Run(run_options, input_names.data(), &input_tensor_slice, 1, output_names.data(), 1); std::memcpy(output_data.data() + slice.offset(), output_tensor.GetTensorData<float>(), slice.size() * sizeof(float)); } auto end_time = std::chrono::high_resolution_clock::now(); std::cout << "Inference time: " << std::chrono::duration_cast<std::chrono::milliseconds>(end_time - start_time).count() << "ms" << std::endl; // process output data ... } ``` 在这个示例中，我们使用onnxruntime-gpu-c++加载了名为“model.onnx”的模型，并将输入数据填充到名为“input”的张量中。然后，我们运行了推理，并将输出数据存储在名为“output_data”的向量中。最后，我们对输出数据进行了处理。 4. 运行推理 在加载模型和填充输入数据后，您可以使用session.Run()方法运行推理。您需要指定输入和输出张量的名称，并将它们传递给session.Run()方法。 5. 处理输出 session.Run()方法将返回一个或多个输出张量。您可以使用GetTensorData()方法获取输出张量的数据，并对其进行处理。 这些是一个简单的onnxruntime-gpu-c++部署步骤。您可以根据具体情况进行适当的修改。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值