模型部署：pytorch转onnx部署实践（下）

最新推荐文章于 2024-08-05 09:23:35 发布
最新推荐文章于 2024-08-05 09:23:35 发布
阅读量1.2k 收藏
点赞数
文章标签： 算法 python 计算机视觉 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/gzq0723/article/details/122355826
版权
本文详细介绍了在将PyTorch模型转换为ONNX格式过程中遇到的问题，包括3维池化和3维卷积在ONNXRuntime中的支持情况，以及ONNX模型动态分辨率输入的探讨。实验结果显示ONNXRuntime对ONNX模型支持较好，适合包含3D操作的模型部署。同时，文章讨论了动态分辨率输入在torch.export中的dynamic_axes参数可能存在的限制，并分享了基于ONNXRuntime和OpenCV部署模型的实践案例。
摘要由CSDN通过智能技术生成

关注并星标

从此不迷路

计算机视觉研究院

30ec67564fbae8c3acd63f222366d2bd.gif

bd58b0f9b2f9dde71ec855ec55c379f8.gif

公众号ID｜ComputerVisionGzq

学习群｜扫码在主页获取加入方式

2e62344e18605db5b0c0a92ebd578a97.png

计算机视觉研究院专栏

1aa6652a38804b747644200cd2d0af63.png

2

0

在深度学习模型部署时，从pytorch转换onnx的过程中，踩了一些坑。本文总结了这些踩坑记录，希望可以帮助其他人。

2

2

在上一次分享的时候，我们已经撰写了pth转onnx的过程及一些部署过程，今天我们继续分享整个部署过程遇到的坑及解决办法！

2b332615418b2eeb8cec597edee51577.png

（点击上方图片就可以进入《模型部署：pytorch转onnx踩坑实录（上）》）

45df69e906c027b9b6f3f4b19f394111.png

最低0.47元/天 解锁文章
计算机视觉研究院
关注
模型转换 PyTorch转ONNX 入门
黎国溥
02-17 1万+
本文主要介绍如何将PyTorch模型转换为ONNX模型，为后面的模型部署做准备。转换后的xxx.onnx模型，进行加载和测试。最后介绍使用Netron，可视化ONNX模型，看一下网络结构；查看使用了那些算子，以便开发部署。目录前言一、PyTorch模型转ONNX模型1.1 转换为ONNX模型且加载权重1.2 转换为ONNX模型但不加载权重1.3 torch.onnx.export() 函数二、加载ONNX模型三、可视化ONNX模型。
模型部署翻车记：pytorch转onnx踩坑实录
Mrrunsen的博客
10-13 3897
在深度学习模型部署时，从pytorch转换onnx的过程中，踩了一些坑。本文总结了这些踩坑记录，希望可以帮助其他人。 首先，简单说明一下pytorch转onnx的意义。在pytorch训练出一个深度学习模型后，需要在TensorRT或者openvino部署，这时需要先把Pytorch模型转换到onnx模型之后再做其它转换。因此，在使用pytorch训练深度学习模型完成后，在TensorRT或者openvino或者opencv和onnxruntime部署时，pytorch模型转onnx这一步是必不可少的。接
pytorch训练图像分类模型pth转ONNX并测试
10-29
1. 搭建自己的简单二分类网络，使用pytorch训练和测试； 2. 将pytorch训练的pth模型转换成ONNX，并编码测试； 3. 含训练和测试数据，含训练ok的pth模型和ONNX模型，含完整python和C++实现； 4. 使用方法：首先运行“TrainTestConvertOnnx.py”执行“训练数据读入、模型训练、模型测试、导出onnx”，再运行“TestOnnx.cpp”测试onnx（需要配置OpenCV）；
利用ONNX进行PyTorch模型部署
ydd的博客，记录生活
01-07 1170
使用ONNX进行PyTorch模型部署程序错误torch转换onnxonnx进行量化2 程序错误 torch转换onnx pip install onnx pip install onnxruntime // cpu pip install onnxruntime-gpu https://onnxruntime.ai/ import torch import torch.nn as nn import onnx import numpy as np class Model(nn.Module):
Pytorch转onnx并部署
infinite_jason的博客
06-07 1548
训练好一个模型，或找到开源模型后，转为onnx并通过onnxruntime（CPU，GPU）来部署服务。
将torch转换为onnx的脚本
Cheny的博客
08-24 469
将torch模型转化为onnx模型的脚本
torch.onnx.export():将pytorch模型转换为.onnx模型
QFJIZHI的博客
04-01 4万+
torch.onnx.export(model, args, f, export_params=True, verbose=False, training=False, input_names=None, output_names=None, aten=False, export_raw_ir=False, operator_export_type=None, opset_version=Non...
YOLOv8部署的4种不同部署方式推理速度对比：pytorch、onnx、ncnn、tflite
最新发布
qq_30895747的博客
08-05 804
YOLOv8部署的4种不同部署方式推理速度对比：pytorch、onnx、ncnn、tflite
Pytorch模型部署：torch-onnx-ncnn
MY_WARNING的博客
08-22 2168
部署
Pytorch中的ONNX部署，你真的全部都了解了吗？
sinat_21250935的博客
01-04 2322
pytorch中ONNX的部署，你懂吗
模型部署入门教程（三）：PyTorch 转 ONNX 详解
qq_39967751的博客
05-23 1万+
OpenMMLab：模型部署系列教程（一）：模型部署简介 OpenMMLab：模型部署系列教程（二）：解决模型部署中的难题 知道你们在催更，这不，模型部署入门系列教程来啦~ 在前二期的教程中，我们带领大家成功部署了第一个模型，解决了一些在模型部署中可能会碰到的困难。今天开始，我们将由浅入深地介绍 ONNX 相关的知识。ONNX 是目前模型部署中最重要的中间表示之一。学懂了 ONNX 的技术细节，就能规避大量的模型部署问题。 在把 PyTorch 模型转换成 ONNX 模型时，我们往往只需要轻松地调用一
Pytorch模型转onnx打包部署(完全脱离pytorch)
qq_44932092的博客
11-08 4265
ONNXRuntime是微软推出的一款推理框架，用户可以非常便利的用其运行一个onnx模型。ONNXRuntime支持多种运行后端包括CPU，GPU，TensorRT，DML等。可以说ONNXRuntime是对ONNX模型最原生的支持。虽然大家用ONNX时更多的是作为一个中间表示，从pytorch转到onnx后直接喂到TensorRT或MNN等各种后端框架了= =，但这并不能否认ONNXRuntime是一款非常优秀的推理框架（微软出品，必属精品）。
pytorch模型转ONNX模型(支持批处理)
zxgmlcj的博客
11-27 2万+
本篇幅介绍pytorch模型转ONNX模型 一、pytorch模型保存/加载 有两种方式可用于保存/加载pytorch模型 1）文件中保存模型结构和权重参数 2）文件只保留模型权重. 1、文件中保存模型结构和权重参数 1）pytorch模型保存 import torch torch.save(selfmodel,"save.pt") 2）pytorch模型加载 import torch torc...
python3环境下pytorch模型转onnx部署tensorRT
u012114438的博客
03-17 7633
1.python环境下安装tensorRT #在home下新建文件夹，命名为tensorrt_tar，然后将下载的压缩文件拷贝进来解压 tar xzvf TensorRT-5.0.2.6.Ubuntu-16.04.4.x86_64-gnu.cuda-9.0.cudnn7.3.tar #解压得到TensorRT-5.0.2.6的文件夹，将里边的lib绝对路径添加到环境变量中 export LD_L...
Pytorch项目打包和部署（3）——代码——flask+onnx
wa1tzy的博客
07-13 2099
文章目录一、Flask部署1.1 httpserver.py1.2 clinet.html二、传图片2.1 clinet.html2.2 httpserver.py三、返回json格式3.1 clinet.html3.2 httpserver.py四、官网实例转JSON4.1 httpserver2.py4.2 clinet2.html五、导出与调用onnx（跨平台使用）5.1 导出onnx5.2 检查onnx5.2.1 onnxruntime评测模型精度不一致问题排查5.3 调用onnx 一、Flask部
PyTorch学习总结(三)——ONNX
热门推荐
码农王小呆的博客
12-05 5万+
1.什么是ONNXOpen Neural Network Exchange (ONNX)是开放生态系统的第一步，它使人工智能开发人员可以在项目的发展过程中选择合适的工具;ONNX为AI models提供了一种开源格式。它定义了一个可以扩展的计算图模型，同时也定义了内置操作符和标准数据类型。最初我们关注的是推理(评估)所需的能力。Caffe2, PyTorch, Microsoft Cognitive
【pytorch】将训练好的模型部署至生产环境：onnx及onnxruntime使用
种一棵树最好的时间是十年前，其次是现在
05-02 2440
Open Neural Network Exchange（ONNX，开放神经网络交换）格式，是一个用于表示深度学习模型的标准，可使模型在不同框架之间进行转移。各类框架中的模型，通过ONNX进行转化见下图所示： 导出函数及参数介绍： torch.onnx.export(model, args, f, export_params=True, verbose=False, training=False) 模型（torch.nn.Module） - 要导出的模型。 args（参数元组） - 模型的输入，例如，这-
erwin模型怎么保存_PyTorch模型的加速及部署
weixin_39877581的博客
11-21 116
模型部署的时候，一般会对latency、throughput有更高的要求，这导致直接用pytorch部署性能达不到要求。如果我们部署的目标硬件是nvidia的产品（如下图所示），我们可以直接使用nvidia的tensorrt进行优化与部署。nvidia硬件产品pytorch转换tensorrtnvidia有一个开源项目torch2trt，提供pytorch到tensorrt的转换，但是我们在使用的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

计算机视觉研究院

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值