onnxruntime CPU和GPU推理测试

最新推荐文章于 2024-05-18 18:17:38 发布
最新推荐文章于 2024-05-18 18:17:38 发布
阅读量1.2w 收藏 5
点赞数 2
分类专栏： pytorch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/GeneralJing/article/details/109817959
版权

最近在做移动端模型移植的工作，在转换为onnx中间模型格式的时候，利用onnxruntime加载onnx模型进行推理，为了对比CPU与GPU的推理时间，需要分别进行测试。
onnxruntime的CPU和GPU测试的方式，百度了一下没有找到合适的解决方式，后来问了其他同事，大概知道了。如果要测试CPU的推理时间，Python环境需要安装onnxruntime，如果测试GPU的推理时间，Python环境就需要卸载CPU版本，安装onnxruntime-gpu，然后进行推理时间测试。

2.66s-mac 2.505s-Linux CPU

142.8ms-Linux GPU

GeneralJing
关注
  • 2
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
onnxruntime推理CPU GPU切换
juluwangriyue的博客
12-22 5304
onnxruntime推理CPU GPU切换1、切换CPU与GPU 1、切换CPU与GPU 在anaconda环境下安装了onnxruntime和onnxruntime-gpu，在使用时总是默认调用gpu版本的库。 有时需要对比CPU和GPU的性能，有时因为显存不够只能使用CPU版本的库，但是系统默认调用GPU的库，网上看到一些说法，为了测试CPU只能把GPU的库卸载了，这种说法我不赞成。 其实只要细心，跳转到onnxruntime的InferenceSession定义据可以知道，办法是有的，就是多设置一个
onnxruntime gpu
05-31
onnxruntime gpu版本推理库文件，包含头文件，lib库文件，dll 动态库文件，用于c++开发
ONNXRuntime (Python) GPU 部署配置记录
豆芽菜
03-01 1万+
0. 前言 最近偶尔捣鼓了一下onnxruntime-gpu(python版本)的服务端部署，于是打算简单记录一下一些关键步骤，免得以后忘了。确实，有些时候我们并不全是需要把模型转成MNN/ncnn/TNN后走移动端部署那套，服务端的部署也是个很重要的场景。比较常用的服务端部署方案包括tensorrt、onnxruntime-gpu等等。onnxruntime-gpu版本可以说是一个非常简单易用的框架，因为通常用pytorch训练的模型，在部署时，会首先转换成onnx，而onnxruntime和o..
深度学习模型部署——基于Onnx Runtime的深度学习模型CPU与GPU部署（C++实现）
最新发布
知来者逆的博客
05-18 1153
以上就是在win 10下使用Onnx Runtime用CPU与GPU来对onnx模型进行推理部署的对比，可以明显的看出来，使用GPU之后的推理速度，但在正式的大型项目中，在win下使用GPU部署模型是不建议，一般都会选择Linux,那样对GPU的利用率会高出不少，毕竟蚊腿肉也是肉。
onnxruntime加载onnx格式目标检测模型（SSD，YOLOv3-tiny）
ouening的博客
10-23 7148
onnx官方提供了onnx格式的模型，下载地址：https://github.com/onnx/models/tree/master/vision/object_detection_segmentation/ssd 下载后使用netron查看该模型，如下图所示： 程序 import numpy as np # we're going to use numpy to process input and output data import onnxruntime # to inference O
使用ONNXRuntime部署阿里达摩院开源DAMO-YOLO目标检测，一共包含27个onnx模型(代码开源)...
gzq0723的博客
12-11 248
2022点击蓝字 关注我们关注并星标从此不迷路计算机视觉研究院学习群｜扫码在主页获取加入方式获取代码｜关注并回复“onnx部署”01概述ONNXRuntime是微软推出的一款推理框架，用户可以非常便利的用其运行一个onnx模型。ONNXRuntime支持多种运行后端包括CPU，GPU，TensorRT，DML等。可以说ONNXRuntime是对ONNX模型最原生的支持。虽然大家用ONNX时更多的是...
onnx 模型转换及推理时间对比
Guo_Python的博客
04-29 3770
1. 环境准备 对比时间，和模型训练的环境相同，可能额外要安装的包是onnxruntime. pip install onnxruntime # for cpu pip install onnxruntime-gpu # for gpu 2. 测试过程 直接上代码吧，代码就是最好的解释。 import cv2 import time import torch import numpy as np from torch.nn import DataParalle...
onnxruntime实现模型推理
u013344192的博客
10-23 1765
训练模式保存为onnx格式文件； 根据平台环境，下载第三方库onnxruntime； 首先根据部署需要，配置环境： 获取如下安装指令： 比如使用visual studio 2019，可以直接在”程序包管理器控制台“输入如下指令进行安装： Install-Package Microsoft.ML.OnnxRuntime -Version 1.9.0 使用onnxruntime，C++实现onnx模型调用： #include <assert.h> #include <ve..
windows下的onnxruntime版本问题
weixin_40970506的博客
03-31 1万+
onnxruntime-gpu==1.1.0 版本：cuda10.0+cudnn7.３ 参考链接： https://github.com/microsoft/onnxruntime/issues/2894 onnxruntime-gpu==1.2.0 版本：cuda10.1+cudnn7.6 版本不对会报错： ImportError: cannot import name 'get_all_...
onnxruntime_gpu-1.10.0-cp36-cp36m-linux_aarch64.whl
01-04
arm、 jetson nano 可用的 onnxruntime-gpu
手动build的onnxruntime_gpu-1.12.0-cp38-cp38-linux_aarch64.whl
05-25
自己在jetpack5.0.1版本的nx上build的onnx版本，不是正式版本，可能会在一些环境下出问题。理论上说jetson系列应该都可以安装运行，前提是cuda11.4（使用tensorrt的话需要tensorrt8.4）
onnxruntime_gpu-1.2.0-cp36-cp36m-manylinux2010_x86_64.whl
05-06
onnxruntime_gpu-1.2.0-cp36-cp36m-manylinux2010_x86_64.whl是onnx模型推理用的pip包，GPU版本，可取官网下载，但是速度较慢
jetson nx配置onnxruntime环境
09-12
onnxruntime_gpu-1.6.0-cp36-cp36m-linux_aarch64.whl，官方地址：https://elinux.org/Jetson_Zoo#ONNX_Runtime
【环境搭建：onnx模型部署】onnxruntime-gpu安装与测试（python）
热门推荐
JLGao的博客
04-11 2万+
onnx模型部署环境创建
onnx和pytorch，tensorrt 推理速度对比GPU CPU
hllyzms的博客
08-09 6056
通常我们在训练模型时可以使用很多不同的框架，比如有的同学喜欢用Pytorch，有的同学喜欢使用TensorFLow，也有的喜欢MXNet，以及深度学习最开始流行的Caffe等等，这样不同的训练框架就导致了产生不同的模型结果包，，而且同一个框架比如tensorflow不同的版本之间的差异较大， 为了解决这个混乱问题，这个组织联合 Facebook, MicroSoft等公司制定了，这个标准叫做，所有其他框架产生的模型包 (.pth,.pb) 都可以转换成这个标准格式，转换成这个标准格式后，就可以。......
YOLOv5在C++中通过Onnxruntime在window平台上的cpu与gpu推理
p3116002589的博客
02-22 3865
YOLOv5在C++中通过Onnxruntime在window平台上的cpu与gpu推理
pytorch 测量模型运行时间，GPU时间和CPU时间，model.eval()介绍
tony365的博客
05-15 8051
我们知道，在pytorch中，模型有两种模式可以设置，一个是train模式、另一个是eval模式。model.train()的作用是启用 Batch Normalization 和 Dropout。在train模式，Dropout层会按照设定的参数p设置保留激活单元的概率，如keep_prob=0.8，Batch Normalization层会继续计算数据的mean和var并进行更新。model.eval()的作用是不启用 Batch Normalization 和 Dropout。
yolov8目标检测onnx推理及后处理实现
jameschen9051的博客
06-06 1万+
YOLOv8输出shape跟yolo之前系列模型（YOLOv5输出为[25200,85]），有较大差异，查找一番后，发现yolov8在两个方面做了调整，一是取消了anchor（因为每个anchor对应3个bbox），因此总的bbox数降低三倍；编写推理脚本前可以通过netron工具查看模型输入输出，可以看到yolov8输入为[1,3,640,640]，输入为[1,84,8400]。YOLOv8n预训练模型为pytorch的pt格式，大小为6.2M，下载完成后，通过pytorch转换为onnx。
解决yolov5使用onnxruntime推理时耗时问题（cpu环境）
athrunsunny的博客
11-10 8543
yolov5将训练好的模型转换成onnx格式，在使用转换后的onnx格式的权重进行推理时作者使用如下语句： # Inference if pt: visualize = increment_path(save_dir / Path(path).stem, mkdir=True) if visualize else False pred = model(img, augment=augment, visualize=visua...
onnxruntime在gpu上部署加速
09-07
ONNX Runtime是由微软开发的一个用于优化和加速机器学习模型推理的引擎。它支持在CPU和GPU上进行部署，并提供了一些优化策略和技术来加速模型的推理过程。 在GPU上部署模型可以显著提高推理性能。首先，GPU具有高并行计算的特性，能够同时执行大量的计算任务。通过利用GPU的并行计算能力，ONNX Runtime可以将大部分的计算负载分配给GPU进行处理，从而加快模型的推理速度。 其次，ONNX Runtime通过使用GPU专用的并行计算库（如CUDA）来优化模型的推理过程。这些库提供了一些高效的算法和数据结构，可以在GPU上更快地执行计算任务。ONNX Runtime与这些库进行集成，可以充分利用GPU的硬件加速特性，进一步提高推理性能。 此外，ONNX Runtime还支持将模型的计算图和参数加载到GPU内存中，从而减少CPU和GPU之间的数据传输时间。将数据加载到GPU内存中可以减少数据在主机内存和设备之间的复制开销，进一步提高模型推理的效率。 总结起来，通过在GPU上部署和加速模型，ONNX Runtime能够利用GPU的并行计算能力和硬件加速特性，显著提高模型推理的速度和效率。这使得在处理大规模数据和复杂模型时，能够更快地完成推理任务，从而提升整体的机器学习应用性能。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值