Pytorch模型转TensorRT踩坑

最新推荐文章于 2024-04-03 21:23:43 发布
最新推荐文章于 2024-04-03 21:23:43 发布
阅读量1.1k 收藏 4
点赞数
分类专栏： 工程项目 文章标签： pytorch 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44749835/article/details/120731306
版权

博主使用mmclassification项目来训练道路标志识别模型，并且使用官方代码中的pytorch2onnx以及onnx2tensorrt脚本，由于工程需要使用的tensorrt版本为6.0，但是遇到了如下问题：

  1. 输出的onnx很复杂，有乱七八糟的结构

    方法是将输出的onnx模型通过simplifier简化

  2. 版本问题
    博主pytorch2onnx转换成功，但是再转trt的时候收到如下报错
    在这里插入图片描述
    经过google后发现是版本问题，大意是trt6不支持pytorch1.3，所以onnx解释器（onnx2trt）无法解释torch1.3及以上版本导出的onnx模型，所以转换失败，如果将torch降到1.2转onnx就没问题了

但是这很麻烦，torch,torchvision，cuda版本都需要更换

最低0.47元/天 解锁文章
奥特慢走
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
jetson nano nx 环境配置， onnx2trt安装 的坑及一些使用记录
weixin_44359953的博客
06-18 1860
jetson nano 估计nx等也可的 onnx2trt安装 的坑及一些使用记录 首先，确定tensorrt在jetson上面的版本： dpkg -l | grep TensorRT jetson nano截至20210618的jetpack最新 对应tensorrt版本是7.1.3 下载onnx2trt的源码对应tensorrt版本：https://github.com/onnx/onnx-tensorrt 发布里找 有一个坑是下载下来大部分情况是third_party下的onnx是没有，这个是链接到
Pytorch2TensorRT:CUDA10.0，CUDNN7.5.0，TensorRT7.0.0.11
05-10
Pytorch2TensorRT 将Pytorch模型部署到TensorRT的一个简单用法，技术路线为“pytorch model-->onnx file-->TensorRT engine”。 当前仅针对ONNX和TensorRT支持OP可进行转换，如有不支持的OP需编写插件。 News: 2020.12.10: 更新trt_convertor.py脚本，使之适用于TRT7； 软件环境： TensorRT7.0.0.11 Pytorch1.2 PIL6.2.1 numpy1.17.4 Linux_x86_64 CUDA10.0 CUDNN7.5.0 当前支持： TensorRT FP32 TensorRT FP16 TensorRT INT8 使用方法： 从Pytorch模型到ONNX：修改并使用pytoch_to_onnx.py脚本转ONNX，或者独自进行转换； 利用自行提供的或
【保姆级教程附代码】Pytorch (.pth) 到 TensorRT (.plan) 模型转化全流程
最新发布
weixin_44212848的博客
04-03 1038
那么恭喜你的 .onnx 大概率是可以转化到 .plan 的！当然这里也有些坑，比如明明是显存不够错误，但日志里完全没提 oom，而是说节点问题。。。
pytorch转tensorRT踩的几个小坑
紫金山赵火龙的博客
12-20 4714
1、版本不匹配 [E] [TRT] Layer:Where_51's output can not be used as shape tensor. [E] [TRT] Network validation failed. [E] Engine creation failed. [E] Engine set up failed. 这实际是由于pytorch与TensorRT版本不匹配，我的TensorRT是7.0，pytorch应该是1.4，但我用了1.7 因此需要用1.7重新读取权重文件，然后用老
Pytorch2TensorRT:pytorch原始码解析生成tensorrt引擎
03-23
Atlab SDK团队推理库 运行环境 参考Dockerfile 安装 git clone --recursive https://github.com/huajianni666/Pytorch2TensorRT.git && cd Pytorch2TensorRT wget http://pq16f3soz.bkt.clouddn.com/Pytorch2Trt3rdparty.zip unzip Pytorch2Trt3rdparty.zip && rm Pytorch2Trt3rdparty.zip 编绎 cd python/plugin && mkdir build && cd build && cmake .. make cd ../../ 运行 python refinedet.py
torch2trt：易于使用的PyTorch到TensorRT转换器
02-25
火炬2trt torch2trt是一个使用TensorRT Python API的PyTorch到TensorRT转换器。 转换器是 易于使用-通过单个函数调用torch2trt转换模块 易于扩展-用Python编写自己的层转换器，并在@tensorrt_converter注册 如果您发现问题，请！ 请注意，此转换器对TensorRT / PyTorch的覆盖范围有限。 我们创建它主要是为了轻松优化项目中使用的模型。 如果您发现转换器对其他型号有用，请。 用法 以下是一些使用示例，有关更多信息，请查看。 转变 import torch from torch2trt import torch2trt from torchvision . models . alexnet import alexnet # create some regular pytorch model... model
PyTorch2ONNX2TensorRT 踩坑日志
热门推荐
麦克斯韦恶魔的博客
12-07 2万+
从“用PyTorch写的网络，通过ONNX，使用TensorRT序列化，最终完成模型加速”的全流程踩坑日志。持续更新。
Pytorch 转TensorRT5
12-21
知乎上，说的也不错： https://zhuanlan.zhihu.com/p/88318324 https://blog.csdn.net/qq_38003892/article/details/89314108 1.torch2trt https://www.ctolib.com/amp/NVIDIA-AI-IOT-torch2trt.html ...像官方代码: ...
Pytorch模型转onnx模型实例
09-18
今天小编就为大家分享一篇Pytorch模型转onnx模型实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch通过保存为ONNX模型转TensorRT5的实现
09-16
主要介绍了Pytorch通过保存为ONNX模型转TensorRT5的实现，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
朝圣者项目：torch2trt，将pytorch模型快速转换为TensorRT引擎。-C/C++开发
05-27
该项目由torch2trt和torch2trt_dynamic分叉，此项目的目的是提供一种将pytorch模型直接转换为TensorRT引擎的朝圣者项目。 TensorRT引擎。 如果您的模型是基于pytorch构建的，则可以加快您的项目的工作速度；我们已经...
Pytorch模型训练实用教程
10-03
Pytorch模型训练实用教程 来源： https://github.com/TingsongYu/PyTorch_Tutorial
关于pytorch模型转tensorrt模型遇到的问题
weixin_41630455的博客
09-29 1054
实现一个对于dcm格式的人体切下来的组织就行钙化点检测。我采用了unet分割算法，期间pth模型训练已经到达了一定精度。准备部署到嵌入设备上。期间遇到一个印象深刻的坑，pth转onnx转trt。用trt跑的时候精度变低了。试了trtexec的命令进行各种参数设置并没有改观该现象。在onnx转trt过程中查了很多资料也辗转了很久以为是onnx转换过程出现了问题。后来无意一次心血来潮想试一下onnx的本身精度。发现onnx的精度也有问题，那么问题原来处在onnx上。问题解决的也挺奇特的，本来onnx是放在bai
解决Pytorch AvgPool2d层不能转TensorRT的问题
BokyLiu的博客
05-09 2257
问题起因 今天在导出onnx的时候，有一个AvgPool2d层是如下定义的 self.resnetv1d_down3_pool0_fwd = nn.AvgPool2d(kernel_size=(2, 2), stride=(2, 2), padding=(0, 0), count_include_pad=False, ceil_mode=True) 而它导出的onnx图中参数为： Float(1, 80, 20, 36) = onnx::AveragePool[kernel_shape=[2, 2], p
pytorch TensorRT 官方例子
DYF的博客
11-21 655
1、common.py from itertools import chain import argparse import os import pycuda.driver as cuda import pycuda.autoinit import numpy as np import tensorrt as trt try: # Sometimes python2 does not understand FileNotFoundError FileNotFoundError exce
protobuf -序列化
h2517956473的博客
06-04 1506
文章目录前言序列化成字符串SerializeToString和SerializeAsString区别SerializeToString和SerializePartialToString区别 前言 protobuf有 proto2 和 proto3 两个主要的并且差异很大的版本，所以在使用protobuf前要明确使用的版本。 序列化成字符串 将 message 结构对象序列化的函数有很多，即使是序列化成字符串也有多个函数可以使用，比如SerializeToString，SerializePartialToSt
pytorch模型转TensorRT模型，并在jetson nano上加速推理
zhangxianqi125的博客
07-08 432
在Ubuntu系统下实现pytorch模型转TensorRT模型，并在jetson nano上实现TensorRt推理加速
caffe训练自己模型时候出现这个错误。
zhuiyunzhugang的博客
01-04 1240
caffe/My_Files/lenet_train_test.prototxt [libprotobuf ERROR google/protobuf/text_format.cc:298] Error parsing text-format caffe.NetParameter: 227:7: Message type "caffe.LayerParameter" has no field na...
【TensorRT】1、TensorRT、ONNX、PyTorch 互相转换
呆呆的猫的博客
03-21 8192
在深度学习模型落地的过程中，会面临将模型部署到边端设备的问题，模型训练使用不同的框架，则推理的时候也需要使用相同的框架，但不同类型的平台，调优和实现起来非常困难，因为每个平台都有不同的功能和特性。如果需要在该平台上运行多种框架，则会增加复杂性，所以 ONNX 便派上了用场。可以通过将不同框架训练的模型转换成通用的 ONNX 模型，再进而转换成各个平台支持的格式，就可以实现简化部署。 一、什么是 ONNX ONNX 是 Open Neural Network Exchange 的简称，也叫开放神经网络交换，.
yolov5 PyTorch模型转TensorRT
05-20
将YOLOv5 PyTorch模型转换为TensorRT模型需要以下步骤： 1. 安装TensorRT和PyTorch。 2. 下载并安装yolov5。 3. 使用PyTorch将yolov5模型转换为ONNX格式。 ``` python models/export.py --weights yolov5s.pt --...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值