onnx模型部署 python_onnxruntime模型部署流程

最新推荐文章于 2024-09-03 13:15:33 发布
最新推荐文章于 2024-09-03 13:15:33 发布
阅读量1.4k 收藏 1
点赞数
文章标签： onnx模型部署 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39588911/article/details/111434325
版权
本文介绍了如何将PyTorch模型转换为ONNX格式，并通过Python的ONNXRuntime进行部署。首先，展示了使用torch2onnx函数将训练好的模型转换为ONNX，包括支持动态形状的方法。接着，安装onnxruntime库，提供了GPU和CPU版本的选择。最后，详细解释了如何使用onnxruntime加载模型和执行推理操作。
摘要由CSDN通过智能技术生成

一、将训练好的模型转换格式为ONNX格式

例如pytorch模型转换：

def torch2onnx(model, save_path):

"""

:param model:

:param save_path: XXX/XXX.onnx

:return:

"""

model.eval()

data = torch.rand(1, 3, 224, 224)

input_names = ["input"]

output_names = ["out"]

torch.onnx._export(model, data, save_path, export_params=True, opset_version=11, input_names=input_names, output_names=output_names)

print("torch2onnx finish.")

支持动态形状的输入和输出：

def torch2onnx_dynamic(model, save_path):

"""

:param model:

:param save_path: XXX/XXX.onnx

:return:

"""

model.eval()

data = torch.rand(1, 3, 224, 224)

input_names = ["input"] # ncnn需要

output_names = ["out"]

最低0.47元/天 解锁文章
weixin_39588911
关注
onnx模型部署 python_ONNX 介绍及TensorRT部署
weixin_39768247的博客
12-15 3037
ONNX简介Open Neural Network Exchange(ONNX，开放神经网络交换)格式，是一个用于表示深度学习模型的标准，可使模型在不同框架之间进行转移。【ONNX是一种针对机器学习所设计的开放式的文件格式，用于存储训练好的模型。它使得不同的人工智能框架(如Pytorch, MXNet)可以采用相同格式存储模型数据并交互。 ONNX的规范及代码主要由微软，亚马逊 ，Facebook...
Python-ONNXRuntime是跨平台高性能ONNX模型运行引擎
08-11
ONNX Runtime是跨平台高性能ONNX模型运行引擎
onnxruntime模型部署流程
街道口扛把子的博客
10-03 5316
一、将训练好的模型转换格式为ONNX格式 例如pytorch模型转换： def torch2onnx(model, save_path): """ :param model: :param save_path: XXX/XXX.onnx :return: """ model.eval() data = torch.rand(1, 3, 224, 224) input_names = ["input"] output_names =
[python]python onnxruntime gpu是否可用
最新发布
FL1623863129的博客
09-03 251
请确保已经安装了ONNX Runtime，并且如果使用GPU版本，确保已经安装了相应的CUDA驱动和cuDNN库。如果系统中没有可用的GPU，则这些函数将返回。
onnx模型部署(一) ONNXRuntime
热门推荐
luoganttcc的博客
12-27 1万+
    通常我们在训练模型时可以使用很多不同的框架，比如有的同学喜欢用 Pytorch，有的同学喜欢使用 TensorFLow，也有的喜欢 MXNet，以及深度学习最开始流行的 Caffe等等，这样不同的训练框架就导致了产生不同的模型结果包，在模型进行部署推理时就需要不同的依赖库，而且同一个框架比如tensorflow 不同的版本之间的差异较大， 为了解决这个混乱问题，　LF AI 这个组织联合 Facebook, MicroSoft等公司制定了机器学习模型的标准，这
模型部署系列：ONNX模型格式的构建、分析和优化指南
2401_85375298的博客
06-04 1258
ONNX（Open Neural Network Exchange，开放式神经网络交换格式）是一种**模型文件格式**，它在模型训练和模型推理中间提供了**中间桥梁**，使得上游不同的训练框架都能导出ONNX格式的模型，给到下游不同的推理框架都可以读取ONNX进行部署。
模型部署onnx
重剑无锋博客
12-27 470
import torch from torchvision import models net = models.resnet.resnet18(pretrained=True) dummpy_input = torch.randn(1,3,224,224) torch.onnx.export(net, dummpy_input, 'resnet18.onnx') import onnx # Load the ONNX model model = onnx.load("resnet18.onnx")
简单模型部署（ONNX）
sinat_28931055的博客
08-09 2098
何为算子？神经网络的结构往往能用计算图表示，而其通常识利用ONNX 表示成更容易部署的静态图。在静态图中的节点，被称之为算子。深度学习的发展会不断诞生新算子，为了支持这些新增的算子，ONNX 会经常发布新的算子集，目前已经更新 15 个版本，详情5。自定义新算子未仔细研究，详情参考6。
onnx模型部署 python_onnx模型推理(python)
weixin_39590566的博客
12-15 1554
onnx模型推理(python)以下ONNX一个检测模型的推理过程,其他模型稍微修改即可# -*-coding: utf-8 -*-import os, syssys.path.append(os.getcwd())import onnxruntimeimport onnxclass ONNXModel():def __init__(self, onnx_path):""":param onnx_...
onnx模型部署 python_使用ONNX部署深度学习和传统机器学习模型
weixin_39998795的博客
12-15 579
目录ONNX简介ONNX标准介绍ONNX与PMMLDaaS简介使用ONNX部署传统机器学习模型使用ONNX部署深度神经网络模型总结参考ONNX简介开放神经网络交换ONNX(Open Neural Network Exchange)是一套表示深度神经网络模型的开放格式，由微软和Facebook于2017推出，然后迅速得到了各大厂商和框架的支持。通过短短几年的发展，已经成为表示深度学习模型的实际标准，...
onnx模型部署 python_Pytorch模型转onnx模型实例
weixin_39989688的博客
12-15 822
如下所示：import ioimport torchimport torch.onnxfrom models.C3AEModel import PlainC3AENetCBAMdevice = torch.device("cuda:0" if torch.cuda.is_available() else "cpu")def test():model = PlainC3AENetCBAM()pthf...
ONNX再探
I good vegetable a!
02-28 1363
0x0. 前言 接着上篇文章，继续探索ONNX。这一节我将主要从盘点ONNX模型部署有哪些常见问题，以及针对这些问题提出一些解决方法，另外本文也会介绍一个可以快速用于ONNX模型推理验证的框架onnxruntime。如果你想用ONNX作为模型转换和部署的工具，可以耐心看下去。今天要讲到的ONNX模型部署碰到的问题大多来自于一些知乎上关于ONNX模型部署的文章以及自己使用ONNX进行模型部署过程中发现的，有一定的实践意义。 0x1. 导出ONNX 这里以Pytorch为例，来介绍一下要把Pytorch模型导
首次在手机端不牺牲准确率实现BERT实时推理，比TensorFlow-Lite快近8倍，每帧只需45ms...
AI科技大本营
09-20 3536
作者 | 王言治出品 |AI科技大本营（ID:rgznai100）基于Transformer的预训练模型在许多自然语言处理（NLP）任务中取得了很高的准确度。但是这些预训练模型往往需要...
【深度学习】ONNX模型快速部署
yangyu0515的博客
09-20 1万+
【深度学习】快速部署ONNX模型
模型部署入门教程（五）：ONNX 模型的修改与调试
qq_39967751的博客
05-26 8199
模型部署入门系列教程持续更新啦，在前两期教程中，我们学习了PyTorch 模型转 ONNX 模型的方法，了解了如何在原生算子表达能力不足时，为 PyTorch 或 ONNX 自定义算子。一直以来，我们都是通过 PyTorch 来导出 ONNX 模型的，基本没有单独探究过 ONNX 模型的构造知识。 不知道大家会不会有这样一些疑问：ONNX 模型在底层是用什么格式存储的？如何不依赖深度学习框架，只用 ONNX 的 API 来构造一个 ONNX 模型？如果没有源代码，只有一个 ONNX 模型，该如何对这个模型.
【深度学习】ONNX模型多线程快速部署
yangyu0515的博客
09-21 2975
【深度学习】ONNX模型CPU多线程快速部署
机器学习之在线模型简单部署，基于ONNX技术
争渡的博客
06-15 7001
通过使用ONNX，用户可以轻松地将从一个深度学习框架中训练的模型转换为其他框架，并在不同平台上运行。通过使用ONNX，用户可以轻松地将不同框架中训练的模型转换为其他框架，并在不同平台上运行。通过使用ONNX，用户可以将训练好的模型部署到生产环境中，并实时进行预测和分析。如果没有指定某个输入张量的值，则将使用默认值。通过提供通用的模型表示方式，ONNX提高了模型的互操作性，使得深度学习社区更容易共享和利用先进的模型。通过降低推理引擎的开发门槛，ONNX加速了推理引擎的开发，并促进了推理引擎的创新和发展。
PyTorch模型部署流程(ONNX Runtime)
AIGC Studio：分享AIGC前沿知识和好玩应用，公众号同名。
07-16 3314
模型部署指让训练好的深度学习模型在特定环境中运行的过程。模型部署会面临的难题： 运行模型所需的环境难以配置。深度学习模型通常是由一些框架编写，比如 PyTorch、TensorFlow。由于框架规模、依赖环境限制，框架不适合在手机、开发板等生产环境中安装。模型部署不能靠简单的环境配置与安装完成。本文介绍目前模型部署比较流行的流水线：不同的模型先统一转换为onnx中间件再转到不同的推理引擎上进行推理。
yolov8 onnxruntime部署python
07-25
你可以使用ONNX Runtime来部署YOLOv8模型。以下是一个基本的Python部署示例： 首先，确保已经安装了ONNX Runtime库，可以使用以下命令安装： ``` pip install onnxruntime ``` 然后，将YOLOv8模型转换为ONNX格式。你可以使用YOLOv8的PyTorch实现，并使用torch.onnx.export函数将其转换为ONNX格式。示例如下： ```python import torch import torchvision.models as models # 加载YOLOv8模型 model = models.yolov3(pretrained=True) # 导出模型为ONNX格式 dummy_input = torch.randn(1, 3, 416, 416) torch.onnx.export(model, dummy_input, "yolov8.onnx", verbose=True) ``` 现在，你可以使用ONNX Runtime加载并运行YOLOv8模型。以下是一个简单的示例： ```python import numpy as np import onnxruntime as ort # 加载ONNX模型 ort_session = ort.InferenceSession("yolov8.onnx") # 准备输入数据 input_name = ort_session.get_inputs()[0].name input_shape = ort_session.get_inputs()[0].shape input_data = np.random.random(input_shape).astype(np.float32) # 运行推理 outputs = ort_session.run(None, {input_name: input_data}) # 处理输出结果 # outputs包含了YOLOv8的检测结果，你可以根据你的需求进行后续处理 ``` 请注意，这只是一个基本示例。在实际部署中，你可能需要根据自己的需求进行更多的配置和优化，例如设置输入/输出的名称、形状和数据类型，以及处理模型的输出结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值