ONNX模型利用CUDA加速如何正确配置好环境？

最新推荐文章于 2025-03-10 19:45:36 发布
最新推荐文章于 2025-03-10 19:45:36 发布
阅读量2.4k 收藏 33
点赞数 14
分类专栏： DL&ML 文章标签： 深度学习 人工智能 计算机视觉 onnx tensorrt
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42681787/article/details/140043900
版权

目前onnx可选的执行引擎非常多，覆盖了从cpu、gpu到npu，从Intel平台到AMD平台等。如下是onnxruntime所有的执行引擎。

['TensorrtExecutionProvider', 'CUDAExecutionProvider', 'MIGraphXExecutionProvider', 'ROCMExecutionProvider', 'OpenVINOExecutionProvider', 'DnnlExecutionProvider', 'TvmExecutionProvider', 'VitisAIExecutionProvider', 'QNNExecutionProvider', 'NnapiExecutionProvider', 'JsExecutionProvider', 'CoreMLExecutionProvider', 'ArmNNExecutionProvider', 'ACLExecutionProvider', 'DmlExecutionProvider', 'RknpuExecutionProvider', 'WebNNExecutionProvider', 'XnnpackExecutionProvider', 'CANNExecutionProvider', 'AzureExecutionProvider', 'CPUExecutionProvider']

我们最熟悉的执行引擎莫过于 CPUExecutionProvider了，所有的计算设备（电脑、计算盒子等）可以没有显卡、NPU等，但一定得有CPU，因此无论你的模型是用Pytorch训练的又或者是Tensorflow、MXNET、PaddlePaddle训练的&

最低0.47元/天 解锁文章
如何使用 ONNX 结合 GPU 加速推理（CUDA 与 cuDNN 简明指南）
黎国溥
09-10 7525
在深度学习模型推理中，使用 GPU 进行加速是提升模型推理速度的关键方式之一。本文将带大家一步步了解如何使用 ONNX Runtime 结合 NVIDIA 的 CUDA 和 cuDNN 进行 GPU 加速。
tensorrt踩坑日记（python pytorch 转 onnx 推理加速）
qq_44756223的博客
08-01 4085
配置： Ubuntu 16.04 python 3.6 onnx 1.6 pytorch 1.5 pycuda 2019.1.2 torchvision 0.1.8 建议详读,先安装好环境 官网指导手册 步骤： 1.将pytorch模型转换成onnx模型 这边用的是Darknet生成的pytoch模型 import torch from torch.autograd import Variable import onnx input_name = ['input'] output_n
ONNX模型推理使用多核CPU加速推理
weixin_43999691的博客
05-17 9488
对于嵌入式设备，将模型转成onnx后，可以方便的将pytorch或者tensorflow的模型在嵌入式设备上运行，但是onnx模型默认只调用一个CPU核心去做推理，所以有些嵌入式设备有多核的CPU，推理推理可以适当的加速。
NPU上运行onnxruntime
最新发布
xyz3120的专栏
03-10 302
显示的是cuda的组件找不到。由于是Ascend环境，肯定是没有GPU的，很明显是onnxruntime的包装错了。那么该如何才能构建onnxruntime适配Ascend上的whl包呢？通过如上命令，可以看到环境上确实安装的是gpu版本的。注意**–use_cann**参数。
PyTorch：模型推理加速之onnx
皮皮blog
01-18 4279
Open Neural Network Exchange（ONNX，开放神经网络交换）格式，是一个用于表示深度学习模型的标准，可使模型在不同框架之间进行转移。ONNX是一种针对机器学习所设计的开放式的文件格式，用于存储训练好的模型。它使得不同的人工智能框架（如Pytorch, MXNet）可以采用相同格式存储模型数据并交互。ONNX的规范及代码主要由微软，亚马逊 ，Facebook 和 IBM 等公司共同开发，以开放源代码的方式托管在Github上。
使用ONNX Runtime推理引擎进行加速（Pytorch----＞Onnx----＞ONNX Runtime）
weixin_54202028的博客
08-12 4387
OpenMMLab 的算法如何部署？是很多社区用户的困惑。而模型部署工具箱 MMDeploy的开源，强势打通了从算法模型到应用程序这 "最后一公里"！中间表示 ONNX 的定义标准PyTorch 模型转换到 ONNX 模型的方法推理引擎 ONNX Runtime、TensorRT 的使用方法部署流水线 PyTorch - ONNX - ONNX Runtime/TensorRT 的示例及常见部署问题的解决方法MMDeploy C/C++ 推理 SDK。...
【环境搭建：onnx模型部署】onnxruntime-gpu安装与测试（python）
热门推荐
JLGao的博客
04-11 5万+
onnx模型部署环境创建
ONNXRuntime与CUDA版本对应
向上生长的程序媛的博客
04-12 1万+
onnxruntime-gpu版本可以说是一个非常简单易用的框架，因为通常用pytorch训练的模型，在部署时，会首先转换成onnx，而onnxruntime和onnx又是有着同一个爸爸，无疑，在op的支持上肯定是最好的。通常在安装onnxruntime时，需要将其版本与pytorch版本和CUDA版本进行对应，其中ONNXRuntime与CUDA版本对应关系表如下表所示。选好版本后，使用以下命令进行安装onnxruntime。X.X.X表示版本号。
Python-ONNX 相关
whaosoft143ai的博客
08-12 745
基于前几篇教程中的知识，本文我们介绍了一个与 PyTorch 转 ONNX 相关的实战项目。其实，这篇教程提到的精度对齐工具还有很大的优化空间，比如：现在测试输入不太方便管理，能不能优化它的管理逻辑？现在我们默认是用 ONNX Runtime 执行 ONNX 模型，可否拓展到其他后端？能不能把无效的 Identity 节点从调试模型中删除？ ​ Taobao天皓智联whaosoft aiot http://143ai.com ​
onnxruntime-win-gpu-x64-1.8.0.zip
12-20
开发者通过下载并解压这个压缩包到本地，再按照文档说明配置好环境后，就可以开始部署和运行ONNX模型了。这可能包括设置环境变量、注册模型优化器和执行器，以及编写代码加载模型并进行推理。整个流程旨在简化部署...
onnxruntime推理yolov5
za6992322的博客
08-15 538
在linux环境下使用onnxruntime对yolov5进行视频流和单张图像的推理z操作，pt格式转onnx格式可以直接使用yolov5源代码中的export.py实现，环境主要是onnxruntime1.12.0和opencv4.9.0，CUDA和CUDNN的配置可以看网上教程，这里使用的是CUDA11.8和CUDNN8.9(当然其他版本也是可以的).首先模型文件位于models文件夹中，有yolov5s.onnx和yolov5n.onnx两种,是使用yolov5源码转换的；2.main函数的修改。
onnx_transformers：加速的NLP管道，用于在CPU上进行快速推断。 使用Transformers和ONNX运行时构建
02-03
onnx_transformers 加速的NLP管道以进行快速推理 :rocket: 在CPU上内置 :hugging_face: 变压器和ONNX运行时。 安装： pip install git+https://github.com/patil-suraj/onnx_transformers 用法： 注意：这是一个实验项目，仅在PyTorch中进行了测试 流水线API与变压器相似，只是有一些区别，下面将进行说明。 只需提供模型的路径/ URL，如果需要，它将从下载模型并自动创建onnx图并运行推理。 from onnx_transformers import pipeline # Initialize a pipelin
【环境搭建：onnx模型部署】onnxruntime-gpu安装与测试（python）(2)
2301_82244389的博客
04-13 3020
在 conda 环境中安装，不依赖于 本地主机 上已安装的 cuda 和 cudnn 版本，灵活方便。如果需要其他的版本， 可以根据 onnxruntime-gpu, cuda, cudnn 三者对应关系自行组合测试。想要 onnx 模型在 GPU 上加速推理，需要安装 onnxruntime-gpu。onnx 模型在 CPU 上进行推理，在conda环境中直接使用pip安装即可。下面，从创建conda环境，到实现在GPU上加速onnx模型推理进行举例。
19-5 LLM之野望 5 - 使用ONNX 模型量化将LLM速度提高 3 倍
ms44的专栏
07-21 1405
运行 LLM 嵌入模型在 CPU 上速度很慢，在 GPU 上成本很高。我们将使用将其速度提高 3 倍，看看不同的如何影响新旧硬件上的性能，并在量化模型的基础上进一步进行。
ONNX模型可以通过TensorRT进行加速
weixin_44394479的博客
03-01 1000
通过将ONNX模型转换为TensorRT可以显著提高模型的推理性能，这得益于TensorRT的优化能力，如操作层的融合和计算图的优化。- 生成推理引擎：将ONNX模型转换为TensorRT能够读懂的模型后，TensorRT会对该模型进行优化，这包括融合部分操作层和运算步骤，从而形成一个经过优化的新模型。这个过程可以显著提高模型的推理速度。- 部署模型：在Jetson等基于ARM的设备上，模型部署涉及将模型转换为ONNX格式，然后生成基于TensorRT的推理引擎，并使用Triton等工具完成部署。
从PyTorch导出ONNX使用TensorRT模型加速
qq_51533157的博客
03-16 1523
LInux下TensorRT加速流程
ONNX扩展加速AI开发
sundaygeek的专栏
07-25 914
原文链接：https://developers.facebook.com/blog/post/2018/05/02/onnx-expansion-speeds-research-production/ ONNX扩展加速AI开发 在最近的深度学习革命开始时，研究人员只使用了一些工具（如Torch，Theano和Caffe），但今天有一个强大的深度学习框架和硬件运行时生态系统。虽然这个不断增长的工...
onnxruntime-gpu版本环境配置记录
weixin_38815418的博客
08-12 2961
【代码】onnxruntime-gpu版本环境配置记录。
【环境搭建】onnx-tensorrt
luolinll1212的专栏
02-01 834
1，介绍 onnx-tensorrt是一个模型推理框架。 2，安装 sudo apt-get install libprotobuf-dev protobuf-compiler sudo apt-get install swig git clone https://github.com/onnx/onnx-tensorrt.git git submodule sync git submodule update --init --recursive cd onnx-tensorrt mkdir build
cv.cdnn.readnet调用cuda
11-18
1. **安装CUDA和cuDNN**：首先需要在计算机上安装 CUDA 并配置好环境变量，然后安装 cuDNN，它是 CUDA 的一部分，专为深度学习优化加速。 2. **设置 OpenCV 配置**：在建立 OpenCV 的时候，需启用对 CUDA 支持，并...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

城南皮卡丘

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值