上采样pytorch转onnx之onnx runtime error，以及tensorrt解析onnx的错误（Floor int32）

最新推荐文章于 2024-05-23 09:48:56 发布
最新推荐文章于 2024-05-23 09:48:56 发布
阅读量2.6k 收藏 9
点赞数 2
分类专栏： 深度学习 文章标签： 深度学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qihangran5467/article/details/105774653
版权

pytorch->onnx错误

出现场景

pytorch（v1.1.0）训练了一个Unet网络，其中用到了上采样层，最开始直接用torch.onnx.export转onnx(Opset=9)时出现错误：
RuntimeError: Failed to export an ONNX attribute, since it’s not constant, please…

原因

就是pytorch1.1.0的一个bug

解决方法

1、修改symbolic.py，参考官方https://github.com/pytorch/pytorch/commit/11845cf2440c1abb0cb117bcee9532b26573e9c9?diff=unified
更新之后确定转换是可行的。

2、 升级pytorch版本（未尝试）

onnx->tensorrt错误

出现场景

上面转换完成onnx后，用tensorrt的API解析onnx准备生成引擎文件，报错：Floor opreation is not allowed on INT32 type

原因

原因是onnx解析上采样时，需要计算目标tensor的尺寸，

最低0.47元/天 解锁文章
长大了的暗
关注
  • 2
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
yolov5-onnx-tensorrt:如何使用 TensorRT 运行 yolov5 模型
05-29
yolov5-onnx-张量 此 Repos 包含如何使用 TensorRT 运行 yolov5 模型。 Pytorch 实现是 。 将 pytorch 转换为 onnx 和 tensorrt yolov5 模型以在 Jetson AGX Xavier 上运行。 支持推断图像。 支持同时推断多幅图像。 要求 请使用torch>=1.6.0 + onnx==1.8.0 + TensorRT 7.0.0.11 运行代码 代码结构 networks代码是网络demo代码在 Jetson AGX Xavier 上运行 tensorrt 实现 ├── networks ├── utils ├── models ├── demo │ ├── demo.py | ├── demo_batch.py | ├── Processor.py | ├── Processor_Batch.py
解决：抠图时onnxruntime错误-无法加载“onnxruntime_providers_tensorrt.dll“-错误代码“126”
Shion's bla bla blog
05-01 7826
突然抠图插件不能用了，没有搞懂，通过不使用GPU加速来绕过问题。
【已解决】ONNXRuntimeError 9 NOT_IMPLEMENTED Could not find an implementation for ArgMax(13) node with
最新发布
weixin_44212848的博客
05-23 306
这里的范围 0 到 49408 的 token 输入通常来自于 CLIP 模型的文本 tokenization 过程。CLIP 模型中的文本输入需要经过 tokenization，以便将每个词转换为一个唯一的 token ID。在对 CLIP 模型的文本 encoder 模块从 .pt 到 .onnx 的转化过程中，遇到报错。遇到的问题大概率是由于ONNX Runtime不支持模型中的ArgMax操作的。另外，也可以尝试在模型外部实现ArgMax操作，并将结果传递给网络。
ONNXRuntimeError Concat类型不匹配
zhang2362167998的博客
04-20 636
onnx cat类型不匹配
ONNXRuntime报错：onnxruntime\capi\onnxruntime_providers_shared.dll LoadLibrary failed with error 126
weixin_45303602的博客
09-05 3108
E:onnxruntime:barcode, provider_bridge_ort.cc:995 onnxruntime::ProviderLibrary::Get] LoadLibrary failed with error 126 "找不到指定的模块。" when trying to load onnxruntime_providers_cuda.dll c等错错误
安装onnxruntime报错解决
热门推荐
qq_43306998的博客
06-08 1万+
对于onnxruntime出现以下错误 1.当环境是python3.10，通过pip install onnxruntime安装报错，是因为python3.10版本适配不叫onnxruntime了，叫ort-nightly。因此要通过pip install ort-nightly安装。 选自：https://github.com/microsoft/onnxruntime/issues/116802.假如是python3.10以下安装报错，则就是下载wheel文件不对。应在网站：https://pypi.o
[ONNXRuntimeError] : 10 : INVALID_GRAPH 加载模型报错
nnzzll的博客
09-06 4446
InvalidGraph: [ONNXRuntimeError] : 10 : INVALID_GRAPH : Load model from T.onnx failed:This is an invalid model. Type Error: Type 'tensor(bool)' of input parameter (8) of operator (ScatterND) in node (ScatterND_15) is invalid.
nnunet-pytorch转onnx
06-13
nnunet-pytorch 转 onnx 是指将 PyTorch 模型转换为 ONNX 模型，以便于在 TensorRT 等平台上进行加速。以下是该过程中涉及到的知识点： 1. PyTorch 和 ONNX 的关系：PyTorch 是一个流行的机器学习框架，而 ONNX 是...
TensorRT-使用TensorRT部署Pytorch版YOLOv4-通过Pytorch2onnx导出onnx模型转TRT部署
02-27
在本文中，我们将深入探讨如何使用TensorRT进行PyTorch版本的YOLOv4模型的部署，通过PyTorch到ONNX的转换，以及进一步将ONNX模型优化为TensorRT执行引擎。这是一个高效的算法部署实践，对于提升目标检测速度和性能...
onnx2tensorRt:tensorRt推断darknet2onnx pytorch2onnx mxnet2onnx
04-12
onnxruntime 1.0 python3.6 + docker-cuda10.2 + ubuntu16.04 or ubuntu18.04 (1) yolov4(v3) tensorRt inference python version (2) yolov5 tensorRt inference python version (3) insightface gend
pytorch转onnx使用C++ onnxuntime加载推理
02-28
本示例主要涉及将PyTorch模型转换为ONNX格式，并利用C++接口的ONNXRuntime进行推理。以下将详细解释这一过程的关键知识点。 1. PyTorch模型转换至ONNX： 在PyTorch中，我们首先需要构建和初始化一个模型，然后加载...
onnxruntime.capi.onnxruntime_pybind11_state.InvalidProtobuf: [ONNXRuntimeError] : 7 : INVALID_PROTOB
weixin_44791757的博客
04-09 5221
加载onnx模型报错：错误原因：onnx文件损坏。
onnxruntime错误Expand fails with -1 in the size
怡宝2号
10-09 1324
具体报错： RuntimeError: Method run failed due to: [ONNXRuntimeError] : 1 : GENERAL ERROR : /onnxruntime_src/onnxruntime/core/providers/cpu/math/element_wise_ops.h:324 void onnxruntime::BroadcastIterator::...
tensorrt和onnxruntime-gpu同时调用gpu时tensorrt推理出现错乱解决方式
weixin_55783281的博客
03-02 889
tensorrt和onnxruntime-gpu同进程冲突
告诉上述代码报错的原因onnxruntime.capi.onnxruntime_pybind11_state.InvalidArgument: [ONNXRuntimeError] : 2 : INV...
weixin_35748962的博客
01-02 3468
这个错误的原因是输入的数据类型和预期的数据类型不匹配。根据错误信息，实际输入的数据类型是 unsigned 8-bit integer (tensor(uint8))，而预期的数据类型是浮点数 (tensor(float))。这意味着模型期望输入浮点数，但实际上输入的是无符号 8 位整数。因此，需要确保输入的数据类型与模型期望的数据类型相匹配，才能避免这个错误。 ...
unet++ pytorch模型转换为onnx模型并实际测试
黄小黄的窝
08-13 2145
书接上回，上次在安装好openvino环境之后，以及自己在了解完其相关的处理流程之后，现在将自己的模型转换为onnx格式以便后续转换为openvino的中间件。 直接上代码： import os import cv2 import onnxruntime import torch from albumentations import Compose from albumentations.augmentations import transforms from torch.utils.data import
[ONNXRuntimeError] : 2 : INVALID_ARGUMENT : Invalid rank for input: image Got: 2 Expected: 4 Please
cumtchw
03-30 1万+
return self._sess.run(output_names, input_feed, run_options) onnxruntime.capi.onnxruntime_pybind11_state.InvalidArgument: [ONNXRuntimeError] : 2 : INVALID_ARGUMENT : Invalid rank for input: image Got: 2 Expected: 4 Please fix either the inputs or the mo...
【玩转Jetson TX2 NX】（十一）TX2 NX 基于UNet网络实现显著目标分割（详细教程+错误解决）
鲁棒最小二乘支持向量机
04-05 1476
TX2 NX 基于UNet网络实现显著目标分割（详细教程+错误解决）
pytorch：U-Net基于TensorRT部署
Vertira的博客
02-25 2497
1. 网络训练 本项目采用的代码为pytorch-Unet，链接为：GitHub - milesial/Pytorch-UNet: PyTorch implementation of the U-Net for image semantic segmentation with high quality images。 该项目是基于原始图像的比例作为最终的输入，这个对于数据集中图像原始图片大小不一致的情况可能会出现训练问题（显存不够用）。 2.重点代码解析 train.py pa...
pytorch转onnx转tensorrt
06-28
### 回答1： PyTorch是一个深度学习框架，可以用来构建神经网络模型。ONNX是一种开放的神经网络交换格式，可以将不同框架的模型转换为统一的格式。TensorRT是NVIDIA推出的用于加速深度学习推理的库，可以将模型转换为高效的C++代码。因此，将PyTorch模型转换为ONNX格式，再将ONNX模型转换为TensorRT格式，可以提高模型的推理速度和效率。 ### 回答2： Pytorch是一款非常流行的深度学习框架之一，而ONNX（Open Neural Network Exchange）则是一种用于在不同深度学习框架之间交换模型的标准格式。TensorRT是基于NVIDIA GPU优化的深度学习推理引擎，可以加速深度学习模型的预测速度。Pytorch转ONNX转TensorRT的过程主要包括以下几个步骤： 第一步，使用Pytorch训练好的模型可以通过Pytorch提供的方法将模型转化为ONNX格式的模型。这一步通常需要在节省内存的情况下，对训练的模型进行优化并减少其大小。Pytorch提供了一些方法，例如ONNX的exporter，可以在不损失精度的情况下将Pytorch模型转换为ONNX格式。 第二步，将ONNX模型转换为TensorRT格式的模型。这一步通常需要使用TensorRT提供的工具将ONNX格式的模型转换为可以使用TensorRT来加速推理的格式。TensorRT可以根据模型的结构，对其进行优化，从而提高推理的速度和效率。 第三步，使用TensorRT引擎来进行推理。在这一步中，可以使用一些Python或C++的API来调用TensorRT引擎，以加速推理的过程。通常情况下，TensorRT会在NVIDIA GPU上运行，以提高推理的速度和效率。 总之，Pytorch转ONNX转TensorRT是一种很常见的深度学习模型加速优化的方法。通过这种方法，可以将训练好的模型转化为可以快速进行推理的格式，并提高推理的速度和效率，从而更好的满足实际应用需求。同时也可以加深对于Pytorch、ONNX和TensorRT的理解和应用。 ### 回答3： 先介绍一下三个工具的概念。 PyTorch是一个基于Python的库，提供了高度可拓展性和可定制化的机器学习算法、模型和数据处理工具，特别适合用于深度学习。 ONNX（Open Neural Network Exchange）是一个开放的模型表示和转换工具，使得不同框架之间的模型转换和协作更加容易。ONNX 可以将每个框架的模型表示转换为通用表示格式，这样就可以一次性完成跨框架的模型部署。 TensorRT是NVIDIA推出的高性能深度学习推理库，可以对训练好的深度学习模型进行优化，并在NVIDIA GPU上加速模型的推理过程。使用TensorRT能够提升模型的运行速度和效率。 下面是如何将PyTorch模型转为TensorRT模型的过程： 1.将PyTorch模型转化为ONNX格式。有两种方法可以实现这一步骤：一种是使用PyTorch官方提供的torch.onnx.export方法，将PyTorch模型转化为ONNX格式；另一种方法是使用ONNX官方提供的onnx-coreml转换工具。 2.使用TensorRT提供的工具trtexec将ONNX模型转化为TensorRT格式。通过命令行的方式调用trtexec，在将模型转换为TensorRT格式的同时，可以指定一些优化参数，比如设置合适的batch size、设置推理设备的数据类型、设置最大批处理等参数，以提高模型的性能和效率。 3.将转换后的模型导入到TensorRT库中，使用C++或Python等支持TensorRT的代码进行推理。 总体而言，PyTorch转ONNX、ONNX转TensorRT这一过程需要先对PyTorch模型进行格式转化，再将ONNX格式的模型转转化为TensorRT格式，最终通过TensorRT库对模型进行推理。需要注意的是，不同的深度学习模型在转换过程中有着各自的特点和难点，需要根据具体情况进行优化和调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值