cuda加速pth和onnx模型对比-python部署

最新推荐文章于 2024-05-22 17:42:38 发布
最新推荐文章于 2024-05-22 17:42:38 发布
阅读量1.2k 收藏
点赞数
分类专栏： onnxruntime Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jizhidexiaoming/article/details/116427903
版权
1.数据和网络模型数据：[1, 3, 256, 256].模型：resnet182.cuda加速pth模型用时（s）平均用时7ms0.0083842277526855470.0084416866302490230.0069284439086914060.0072393417358398440.0068137645721435550.0069024562835693360.0067038536071777340.006385803222656250.00694298744
摘要由CSDN通过智能技术生成

1.数据和网络模型

数据：[1, 3, 256, 256].

模型：resnet18

模型大小：pth89.5M 转换成onnx模型，压缩到44.7M，压缩了一半多。

2.cuda加速pth模型

用时（s）平均用时7ms

0.008384227752685547
0.008441686630249023
0.006928443908691406
0.007239341735839844
0.006813764572143555
0.006902456283569336
0.006703853607177734
0.00638580322265625
0.0069429874420166016
0.006941080093383789
0.006896257400512695
0.0064046382904052734
0.0062482357025146484
0.0062847137451171875
0.006282806396484375
0.006196498870849609
0.006886482238769531
0.007439613342285156

3.不加速onnx模型（onnxruntime cpu版）

用时（s）平均用时5ms

0.005276203155517578
0.005966663360595703
0.0051767826080322266
0.00515437126159668
0.005184173583984375
0.005034923553466797
0.005269765853881836
0.005064725875854492
0.005131959915161133
0.0049817562103271484
0.00508427619934082
0.004971742630004883
0.0050334930
最低0.47元/天 解锁文章
Mr.Q
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
pytorch模型tensorrt加速之-pth转onnx转trt，在推理trt模型测试模型速度
pyswt的博客
04-29 6850
首先需要安装两个必要的包tensorrt和torch2trt，tensorrt的话要在官网下载tar压缩包，建议下载tar包安装
pytorch训练图像分类模型pth转ONNX并测试
10-29
1. 搭建自己的简单二分类网络，使用pytorch训练和测试； 2. 将pytorch训练的pth模型转换成ONNX，并编码测试； 3. 含训练和测试数据，含训练ok的pth模型和ONNX模型，含完整python和C++实现； 4. 使用方法：首先运行“TrainTestConvertOnnx.py”执行“训练数据读入、模型训练、模型测试、导出onnx”，再运行“TestOnnx.cpp”测试onnx（需要配置OpenCV）；
torch的pth模型转换为onnx模型并对比测试
BIT_Legend的博客
02-22 2365
import torch import torch.onnx from PIL import Image import torchvision.transforms as transforms import onnxruntime as rt import numpy as np ################################################################################################################.
【无标题】yoloV8目标检测与实例分割--目标检测onnx模型部署
最新发布
u014260892的专栏
05-22 699
ONNX Runtime 是一个开源的高性能推理引擎，用于部署和运行机器学习模型，其设计的目标是优化执行open neural network exchange （onnx）格式定义各模型，onnx是一种用于表示机器学习模型的开放标准。onnx模型：ONNX格式的模型文件，通常以.onnx扩展名保存，onnx文件是一种中性表示格式，独立于任何特定的深度学习框架，用于跨不同框架之间的模型转换和部署。要在不同框架或平台中部署训练的pt模型，需要利用ONNX转换工具将pt模型转换为ONNX格式。
TRT（TensorRT）格式的模型与.pth或.pt格式、onnx格式模型区别与联系
Vingnir的博客
09-16 1911
这是一个开放的模型表示格式，允许在不同的深度学习框架之间交换模型，如PyTorch、TensorFlow、Caffe2等。主要为NVIDIA GPU优化，对于使用不支持的层或操作的模型，可能需要额外的工作来进行转换。当你想在NVIDIA GPU上进行高性能的推理时使用，特别是在生产环境或嵌入式设备上。设计为跨框架的，但并不是所有的模型和操作都能轻松地转换为ONNX或从ONNX转换。当你想在不同的框架之间移动模型或使用支持ONNX的工具和平台时使用。当你想继续训练或在PyTorch中进行推理时使用。
使用onnx包将pth文件转换为onnx文件
qq_45893319的博客
12-24 3374
本文对比一下两种pth文件转为onnx的区别以及onnx文件在NETRON中的图
pytorch模型转ONNX转TensorRT，模型转换和推理部署
JimmyGoong的博客
02-20 1846
模型转换，模型部署。pth模型转ONNX，ONNX转TensorRT
pth和onnx推理结果对比代码
02-16
我们分别使用.pth和.onnx模型进行推理，并将结果打印出来。 对于.pth模型，我们加载模型权重，设置模型为评估模式，然后通过模型计算输出。`output.argmax(dim=1)[0].item()`用于获取预测的类别标签。 对于.onnx...
在Python中使用可移植的ONNX AI模型
04-05
- **Using-Portable-ONNX-AI-Models-in-Python.pdf**：这可能是一份详细指南，涵盖了在Python中使用ONNX模型的步骤，包括模型转换、运行时执行、验证和优化等方面。 - **LogOn.aspx?rp=%2FKB%2FAI%2F5278507%2Fonnx-...
YOLOV8模型转换-ONNX-RKNN
10-12
YOLOV8模型转换至ONNX-RKNN的流程是一个典型的深度学习模型部署步骤，尤其在嵌入式设备如RK3588上运行时，这样的优化和转换至关重要。YOLO（You Only Look Once）系列是实时目标检测系统，而YOLOV8作为其最新版本，...
EasyOCR训练好的模型（包含english-g2.pth、zh-sim-g2.pth、craft-mlt-25k.pth）
04-03
EasyOCR一款好用的OCR，支持80多种语言和所有流行的书写脚本，包括拉丁语、汉语、阿拉伯语、德瓦纳加里语、西里尔语等。 要调用EasyOCR，不仅需要通过pip install easyocr -i ...
tensorrt加速pytorch生成pth: pth-＞onnx-＞engine
sinat_39307513的博客
03-15 2234
生成静态engine模型--batch=1 一、pytorch模型保存 1、保存模型参数 save_filename = 'net_%s.pth'% epoch_label save_path = os.path.join('./model',name,save_filename) torch.save(network.cpu().state_dict(), save_path) 导入模型参数 save_path = os.path.join('./model',name,'net_%s.pt
Pytorch模型转onnx，变得很大
有问题请直接说问题就好
09-12 3394
Pytorch模型转onnx，变得很大
Pytorch模型转onnx，模型可视化
m0_51977577的博客
10-12 495
Pytorch模型转onnx，模型可视化
PyTorch语义分割模型转ONNX以及对比转换后的效果（PyTorch2ONNX、Torch2ONNX、pth2onnx、pt2onnx、修改名称、转换、测试、加载ONNX、运行ONNX）
Le0v1n 的博客
08-28 1658
PyTorch2ONNX、Torch2ONNX、pth2onnx、pt2onnx、修改名称、转换、测试、加载ONNX、运行ONNX
pt文件转onnx确定不同的输入宽高如何转换？
进击的菜鸟
03-15 1299
现实中训练好的模型部署时经常会有这样的需求，就是模型的输入需要改变，不使用训练时的输入大小，如yolo系列的模型训练时一般都是输入的图片是640x640，但是部署时我希望输入到模型的分辨率是1920x1080（调整为1920x1088，必须为32的整数倍），那么如何通过pt文件导出对应的onnx模型文件呢？静态batch如何导出呢？动态batch如何导出呢？
pytorch模型-转-onnx-转-tensorrt实际操作详解
pangxing6491的博客
01-27 2973
第一步、配置tensorrt环境，具体参见以下链接： https://zongxp.blog.csdn.net/article/details/86077553 第二步、pytorch模型转onnx: 注意：需要事先训练得到pth模型，也要知道模型的输入输出，比如此次我用的是resnet１８，我设置的输入是（１，３，３２，３２），即batch_size=1,通道数为３，尺寸为３２＊３２，简而言之，就是一次输入一张３２＊３２的彩色ＲＧＢ图像。 import torch from resnet imp
pytorch加载.pth格式文件
CFH1021的博客
03-30 2610
pytorch怎么读取.pth文件，以及怎么将torch的.pth文件转化为bin文件进行保存。 import torch import numpy as np path_in="in.pth" path_out="out.pth" #读取文件 #若安装的pytorch是带Cuda的版本，cuda不能用，则需要指定为cpu运行 data_in = torch.load(path_in, 'cp...
ONNX模型解析修改结点
OpenCV 图像辨识的博客
07-03 2112
ONNX内部节点修改方法
pytorch pth导出onnx模型
07-28
您好！要在PyTorch中将模型导出为ONNX格式，您可以按照以下步骤进行操作： 1. 首先，确保您已经安装了`torch`和`onnx`库。如果没有安装，可以通过以下命令安装： ``` pip install torch pip install onnx ``` 2. 加载您的PyTorch模型并将其转换为ONNX格式。您可以使用`torch.onnx.export`函数完成此操作。这个函数的基本语法如下： ```python torch.onnx.export(model, # PyTorch模型对象 dummy_input, # 用于导出的虚拟输入张量 "model.onnx", # 导出的ONNX文件路径 verbose=True) # 是否输出详细信息 ``` 其中，`model`是您的PyTorch模型对象，`dummy_input`是一个具有适当形状的虚拟输入张量，它将被用于推导图的形状。`"model.onnx"`是导出的ONNX文件的路径。通过设置`verbose=True`，您可以获取更多导出过程的详细信息。 3. 运行上述代码后，您将在指定路径下找到导出的ONNX模型文件。您可以使用ONNX运行时库加载和使用该文件。 以上就是将PyTorch模型导出为ONNX模型的方法。希望能对您有所帮助！如有任何疑问，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Mr.Q

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值