关于pytorch模型转tensorrt模型遇到的问题

最新推荐文章于 2023-11-10 14:21:59 发布
最新推荐文章于 2023-11-10 14:21:59 发布
阅读量1k 收藏 4
点赞数
分类专栏： 图像分割技术 文章标签： pytorch 深度学习 神经网络
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41630455/article/details/120550334
版权

实现一个对于dcm格式的人体切下来的组织就行钙化点检测。我采用了unet分割算法，期间pth模型训练已经到达了一定精度。准备部署到嵌入设备上。期间遇到一个印象深刻的坑，pth转onnx转trt。用trt跑的时候精度变低了。试了trtexec的命令进行各种参数设置并没有改观该现象。在onnx转trt过程中查了很多资料也辗转了很久以为是onnx转换过程出现了问题。后来无意一次心血来潮想试一下onnx的本身精度。发现onnx的精度也有问题，那么问题原来处在onnx上。问题解决的也挺奇特的，本来onnx是放在baiduaistudio环境下转的onnx版本也是1.10.1的，转换下来有误差。后来在自己电脑上转了竟然发现之前明显的误差没有了这就很奇怪，我的onnx版本也是一样的哈。这就很奇怪。那么问题处在哪里呢，个人感觉问题处在torch版本上，baiduaistudio的torch版本是1.4.0而我的电脑版本是1.9.0的,但是我训练环境又是1.4.0的版本这就有点诡异了。

可能原因是1.4.0还没有混合精度概念，而1.9.0转onnx的时候载入模型参数后进入eval模式应该转onnx时候能够保存了更多的精度。这是我的猜想，后面还要验证下

橘色闪光
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 5
    评论
专栏目录
朝圣者项目：torch2trt，将pytorch模型快速转换为TensorRT引擎。-C/C++开发
05-27
该项目由torch2trt和torch2trt_dynamic分叉，此项目的目的是提供一种将pytorch模型直接转换为TensorRT引擎的朝圣者项目。 TensorRT引擎。 如果您的模型是基于pytorch构建的，则可以加快您的项目的工作速度；我们已经测试了多个模型，这些模型都可以正常工作，并且我们将添加更多测试和插件来支持复杂模型的模型。 我们不希望使用onnx的原因是：onnx是另一种不太必要的中间件； 维护onnx插件并不容易
pytorch 将onnx模型转换为trt TensorRT模型
03-20
适用于TensorRT8.0版本及以上 使用步骤 1、chmod 添加文件执行权限 2、将onnx路径修改为自己的onnx模型路径 3、运行py问价
tensorRT推理相关及遇到的坑
qq_35037684的博客
06-01 1783
TensorRT是英伟达针对自家平台做的加速包，TensorRT主要做了这么两件事情，来提升模型的运行速度。TensorRT则在网络的推理时选用不这么高的精度，达到加速推断的目的。现在大多数深度学习框架是没有针对GPU做过性能优化的，而英伟达，GPU的生产者和搬运工，比如一些层在水平方向与深度方向都会做一定的合并，从而加速。另外，模型推理时，如果没做预处理，送进推理的数据类型是U8C3时，推理也会异常退出，不会告诉你是哪里的问题，需要自己一步一步debug, 看各个步骤结果是否符合预期。
Pytorch模型转onnx模型实例
09-18
今天小编就为大家分享一篇Pytorch模型转onnx模型实例，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
Pytorch通过保存为ONNX模型转TensorRT5的实现
09-16
主要介绍了Pytorch通过保存为ONNX模型转TensorRT5的实现，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
【mmdeploy】【TODO】使用mmdeploy将mmdetection模型转tensorrt
qq_40690815的博客
04-24 1546
使用mmdeploy将mmdetection模型转tensorrt
.pt/.pth转onnx踩的坑 小记
yjcccccc的博客
06-29 1641
收到一个.pt的人脸关键点模型，需要将其转为onnx，很简单的一步，但闹出了乌龙，经过小小折腾解决后将过程记录一下。
模型部署之NVIDIA AGX Xavier 配置和使用Torch，ONNX，TensorRT做模型推理
Cameron_Rin的博客
12-26 3227
Nvidia AGX Xavier 配置CUDA，PyTorch，ONNX，TensorRT，将深度学习模型部署到小车上，测试三个计算框架的性能
问题解决心路历程:tensorrt 与 原模型精度相差过大
柴犬犬舍
05-10 3594
今天用pytorch训练了一份resnet18的模型，用于工作服检测。 但是把模型转为tensorrt engine部署后，发现运行起来预测结果完全错误。 1.一开始以为是过拟合，但是用训练数据预测，发现还是不对。 2.这时开始怀疑是自己模型结构哪里写错了，但是编译已经通过了，也就是自己写的tensorrt模型，完美接收了来自pytorch的resnet18的参数。 发现自己写的tensorrt版本的resnet结构，输入数据是224*224,pytorch版是128*64。 ..
tensorrt 低精度推理
jacke121的专栏
12-09 2897
据说TensorRT7实现了尽量低精度运算，还没有使用过。 TensorRT5要设置低精度运算的话，可以设置为Fp16或int8的。 1 Fp16 需要先查询设备是否支持fp16: bool fp16 = builder->platformHasFastFp16(); 返回true了，才能设置引擎以fp16进行推理。 builder->setFp16Mode(true); 2 int8 if (builder->platformHasFastInt8()) { … ...
模型转换推理报错汇总
weixin_41012399的博客
03-30 547
onnx模型是单batch：1x3x256x128，输出是1x256。只这样导出多出一些identity，再转trt的时候又报其他错。这些identity需要用onnxsim.simplify去掉。转trt时变成了1x-1，导致后边推理报错。解决：导出onnx时使用多batch。再次转化和推理就正确了。1.onnx转trt。
[模型部署] ONNX模型转TRT模型部分要点
最新发布
LaineGates的专栏
11-10 473
ONNX模型转TRT模型时的部分要点。
自己训练的yolov5模型转ONNX转trt（记录）
weixin_41828075的博客
06-17 2357
1.模型导出ONNX 在官方提供的代码中改了两句，输入和模型都加载CPU上，否则报错模型是tensor输入不是或者输入是tensor模型不是。 opset_version = 10这里需要注意，设置太大或太小都转换不成功，第一次设置11的时候转trt不成功，改为10的话就没问题了。 """Exports a pytorch *.pt model to *.onnx format Usage: import torch $ export PYTHONPATH="$PWD" &
onnx 模型导出为 trt 模型
先说一下，就简单地写点儿氵文，不是博客，只是我的笔记本
07-18 3757
onnx -> trt
c++调用pytorch模型出现精度损失和精度上升
qq_33618366的博客
12-07 1038
是Pytorch读图问题，PyTorch读图使用的是PIL库中的OPEN( )函数，读取的彩色图像的顺序是RGB；OpenCV的读图方式是imread( )函数，读取的彩色图像的顺序是BGR。要想将精度保持一致，需要将通道进行转换，在OpenCV读取BRG图像后加入函数cvtColor()，将通道调整为RGB顺序；或者在Pytorch中使用函数将RGB调整为BGR。要点是：保证图像在进入网络前的图像通道顺序一致，最后测试精度就会保持一致了。将模型pth文件转化为pt文件 : jit. trace。...
Keras笔记（二）
zzh_AI的博客
09-18 349
3.概念 数据格式 目前主要有两种方式来表示张量： a) th模式或channels_first模式，Theano和caffe使用此模式。 b）tf模式或channels_last模式，TensorFlow使用此模式。 下面举例说明两种模式的区别： 对于100张RGB3通道的16×32（高为16宽为32）彩色图， th表示方式：（100,3,16,32） tf 表示方式：（100,16,32,3） 唯一的区别就是表示通道个数3的位置不一样。 模型 Keras有两种类型的模型，序贯模型（Sequential
pth转onnx转mnn bug总结
qq_38109843的博客
09-23 1354
pytorch版yolov3转onnx 样例 import torch import torchvision import numpy as np from onnxruntime.datasets import get_example import onnxruntime from onnx import shape_inference import onnx import os from models import * img_size = 416 cfg = 'cfg/yolov3.cfg' wei
pth转ONNX模型结果不一致
qq_31638535的博客
01-12 2687
模型转换
关于pth转onnx以及检测onnx模型是否正确
qq_61706112的博客
08-23 904
关于pth转onnx以及检测onnx模型是否正确。
pytorch模型如何转成TensorRT
04-03
PyTorch模型可以通过以下步骤转换为TensorRT： 1. 定义PyTorch模型并加载预训练权重。 2. 使用ONNX将PyTorch模型转换为ONNX格式。 3. 使用TensorRT的ONNX解析器将ONNX模型转换为TensorRT引擎。 4. 在TensorRT引擎上执行推理。 下面是一个简单的示例代码： ```python import torch import tensorrt as trt import numpy as np import onnx import onnx_tensorrt.backend as backend # 定义PyTorch模型并加载预训练权重 class MyModel(torch.nn.Module): def __init__(self): super(MyModel, self).__init__() self.fc1 = torch.nn.Linear(10, 5) self.fc2 = torch.nn.Linear(5, 2) def forward(self, x): x = self.fc1(x) x = torch.nn.functional.relu(x) x = self.fc2(x) return x model = MyModel() model.load_state_dict(torch.load('model.pth')) # 使用ONNX将PyTorch模型转换为ONNX格式 dummy_input = torch.randn(1, 10) input_names = ['input'] output_names = ['output'] torch.onnx.export(model, dummy_input, 'model.onnx', verbose=False, input_names=input_names, output_names=output_names) # 使用TensorRT的ONNX解析器将ONNX模型转换为TensorRT引擎 onnx_model = onnx.load('model.onnx') engine = backend.prepare(onnx_model, device='CUDA:0') # 在TensorRT引擎上执行推理 input_data = np.random.randn(1, 10).astype(np.float32) output_data = engine.run(input_data)[0] ``` 在上面的代码中，我们首先定义了一个简单的PyTorch模型，并加载了预训练权重。然后，我们使用`torch.onnx.export()`将PyTorch模型转换为ONNX格式，并定义了输入和输出的名称。接着，我们使用ONNX解析器将ONNX模型转换为TensorRT引擎。最后，我们使用TensorRT引擎执行推理，得到输出数据。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值