ONNX转ms后，benchmark跑分非常慢

最新推荐文章于 2024-07-06 16:37:47 发布
最新推荐文章于 2024-07-06 16:37:47 发布
阅读量546 收藏
点赞数
文章标签： 深度学习 人工智能 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45666880/article/details/127647316
版权

本身有一个ONNX的模型，通过Mindspore Lite 1.7.0版本转换后，非常顺利，但是在benchmark中测试，速度非常慢，很不正常，大家有没有思路如何排查这个问题

 

可以试下加大thread，用fp16 ，用gpu，benchmark --hep看下命令。主要原因还是你模型太大，resnet50才50ms左右。

小乐快乐
关注
ncnn 推理框架安装；onnx转ncnn
weixin_42357472的博客
07-14 2050
参考： https://zhuanlan.zhihu.com/p/394762128参考：https://github.com/Tencent/ncnn/wiki/how-to-build#build-for-linux 测试： 性能测试
tensorRT踩坑日常之训练模型转ONNX转engine
chaocainiao的博客
04-15 1万+
tensorRT踩坑日常之训练模型转ONNX转engine tensorRT是用来干嘛的在这里就不多介绍了 在使用tensorRT提速之前需要先训练模型 在将训练好的模型转ONNX再转engine 一、将训练好的模型转ONNX这里就提供将torch转ONNX，其余的网上还是有很多教程的 import torch import torch.nn import onnx model = torch.load('best.pt') model.eval() input_names = ['input'] outp
onnx加速变慢
muruibin88的博客
02-02 2478
问题描述： 将tensorflow模型转成onnx后，部署在服务器上，速度骤降，是不加速的倍 原因：不可描述 解决办法： docker run --cpuset-cpus="0,1" -itd docker-images
解决｜onnxruntime gpu 推理比 torch 慢，session 初始化
weixin_44212848的博客
03-26 5262
用 pytorch 几秒就能跑完的，用 onnxruntime 反而慢了10 倍不止，下图中 ‘CUDAExecutionProvider’ 也说明 onnxruntime 确实是用上了 GPU。
alexnet pytorch模型和onnx模型速度对比
我的博客
09-21 1028
torch onnx 1 1.17 0.88 2 2.46 1.15 4 2.84 1.66 8 3.67 2.7 16 6.0 4.71 32 9.51 8.8 64 17.13 17.21 128 32.72 34.1
onnxruntime统计onnx模型gpu运行时间
m0_37192554的博客
11-09 2810
import torch import numpy as np import onnx import onnxruntime from onnxruntime.datasets import get_example import os import cv2 import time os.environ["CUDA_VISIBLE_DEVICES"] = "0" def onnx_out(onnx_path,img): sess = onnxruntime.InferenceSession(onn
pytorch，onnx和tensorrt 的速度对比
热门推荐
ltochange的博客
09-23 1万+
onnx Open Neural Network Exchange (ONNX）是微软和Facebook携手开发的开放式神经网络交换工具。为人工智能模型(包括深度学习和传统ML)提供了一种开源格式。它定义了一个可扩展的计算图模型，以及内置运算符和标准数据类型。目前主要关注推断所需的功能。 ONNX之于机器学习模型就像JPEG之于图像或MPEG之于视频。你可以使用pytorch，tensorflow或者其他深度学习的框架来训练你的模型，最后都可以转成onnx模型. ONNX就想是不同模型之间的桥梁 ONNX
如何提高Android系统Aututu benchmark跑分
Android_in_China
09-23 2810
安兔兔等跑分软件能帮助手机用户了解自己手机的性能，此功能迎合了大多数人的需求，因此安兔兔较流行。当然目前市面上不止一款跑分软件，这些跑分软件大同小异，基本原理是：通过模拟用户操作（比如玩游戏，做运算，听音乐等等）来测试CPU，GPU，MEM，WIFI，BLUETOOTH，MODEM，DDR等等性能，给每一项进行打分，最后形成总分。 认真做技术的芯片供应商，集成商会不断突破已有技术，从而提高产品性
Fritz Chess Benchmark 象棋跑分硬件测试 CPU
01-02
大家来测试下自己的CPU有多快吧 国际象棋 你的处理器每秒能计算多少步?你的处理器计算能力究竟有多强?还在一天一天地想像多少钱的价格买多少钱的性能? 国际象棋,能告诉你答案,让你的处理器计算象棋步数,越大则处理...
Benchmark学习【第一篇】
Th7me的博客
05-10 2487
（本文是本人学习Benchmark作的第一篇学习笔记，内容若有遗漏或错误欢迎评论指出） 前言： Benchmark基准测试是一个性能的衡量基准，可以理解为跑分的测试工具，用来测试系统、软件或代码在相同环境下的表现情况和测试服务器的负荷极限。 一、Benchmark的定义 Benchmark: something that is used as a standard by which other things can be judged or measured....
测试ONNX和Torchscript加快推理速度
whaosoft143ai的博客
06-01 861
正如我们所看到的，没有直接的答案来优化推理时间，因为它主要取决于特定硬件和试图解决的问题。因此应该使用自己的目标硬件和数据进行实验，以获得可靠的结果。尽管如此，还是有一些很容易实施的指导方针:预测批次可以提供显著的加速到一定的尺寸(取决于您的特定硬件)，特别是如果可将批相似长度的样品放在一起时。使用Torchscript或ONNX确实为较小的批大小和序列长度提供了显著的加速，在对单个样本运行推理时效果特别强。ONNX似乎是我们测试过的三种配置中表现最好的，尽管它也是最难安装到GPU上的推理 whaosoft
利用ONNX runtime对transformer模型进行推理加速
choose_c的博客
04-28 2385
利用ONNX runtime对transformer模型进行推理加速
NCNN 跑benchmark方法
见牛羊的博客
10-18 3426
下面从几个方面介绍下自己的采坑之路： NCNN自带模型的benchmark NCNN交叉编译到rk3288(armv7架构)和rk3399(armv8架构）的方法 NCNN转换其他模型并加入benchmark中 NCNN自带模型的benchmark 1. 下载NCNN NCNN这类开源引擎都可以从github上下载下来，下载下来的整个文件夹就像一个完整的软件或者生态系统一样，之后的所有操作都会在这个文件夹里完成。下载方式可以直接去官方的github上下载，我的是ubuntu系统，也可以直接git。
ONNX模型推理使用多核CPU加速推理
weixin_43999691的博客
05-17 8571
对于嵌入式设备，将模型转成onnx后，可以方便的将pytorch或者tensorflow的模型在嵌入式设备上运行，但是onnx模型默认只调用一个CPU核心去做推理，所以有些嵌入式设备有多核的CPU，推理推理可以适当的加速。
Mindspore 1.5rcGraph Mode训练速度慢，这是为什么？
Kenji_Shinji的博客
06-09 409
问题描述：【背景信息】整个Model是一个文字识别任务，包含CNN，Transformer，Loss只有一个CrossEntropy的分类loss。【问题描述】整个代码已经在PyNative模式下顺利运行，并且训练到了很高的性能。训练输入是batchsize=64的160x48的图片。输出类别数为7000左右。单卡单机，PyNative下训练，每个Batch平均需要3秒左右现在拿在PyNative模式下训练好的Model，load进来以后切换成GRAPH Mode继续finetune，发现精度几乎一致，没有
使用 onnxruntime-gpu 进行推理，运行时间久显存逐渐递增无法减少
xiao_ling_yun的博客
06-26 2193
将onnx模型部署为接口后，使用 onnxruntime-gpu 进行持续推理，运行时间久显存逐渐递增无法减少
关于cv2.dnn.readNetFromONNX(path)就报ERROR during processing node with 3 inputs and 1 outputs的解决过程【独家发布】
文山
07-02 1万+
当opencv在读onnx时cv2.dnn.readNetFromONNX(path)就报Number of input channels should be multiple of 3 but got 0 in outputs的解决办法，全网惟一指南
onnx模型推理速度慢/ onnx模型推理时gpu没有被占用
最新发布
zxz669的博客
07-06 643
看看是不是用的onnxruntime （这个是cpu版本的）换成onnruntime-gpu 就好了。
onnxruntime部署时遇到的问题
weixin_45487348的博客
10-27 2201
onnx问题，onnxruntime部署问题，无法调用，调用报错
BenchmarkSQL测试mysql后的结果
07-16
很抱歉，作为一个AI助手，我无法直接运行BenchmarkSQL测试并提供结果。BenchmarkSQL是一个开源的基准测试工具，可以用于测试数据库的性能和吞吐量。你可以按照BenchmarkSQL的文档和指南进行配置和运行，然后根据测试结果进行分析和比较。这样可以帮助你了解MySQL在不同负载条件下的性能表现。如果你在配置或运行BenchmarkSQL时遇到问题，我可以帮助你解答。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值