onnx转tensorrt中的问题记录

已于 2023-01-12 20:57:27 修改
阅读量1.4k 收藏 2
点赞数
分类专栏： 环境配置 文章标签： tensorrt onnx
于 2022-09-22 13:27:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44849479/article/details/126990114
版权

onnx是INT64权重生成的，而tensorrt是支持INT32 。
要将onnx转为更简单的模型。
需要用到 onnx-simplifier
使用 pip install onnx-simplifier就能直接安装了
安装完毕后就可以转了 python -m onnxsim .\flame.onnx .\flame_sim.onnx

Patient patient.
关注
专栏目录
【TensorRT】ONNX/TensorRT模型转换
尊新必威的博客
09-16 4878
TensorRT 模型的推理速度比 libtorch 模型更快，所以 PyTorch 模型转换为 TensorRT 模型部署几乎是最好的选择。通常TensorRT 模型首先需要转换为 ONNX 模型，再由 ONNX 模型转换为TensorRT 模型。本文对转换方法及一些注意点做一个记录。
一文掌握Pytorch-onnx-tensorrt模型转换
热门推荐
m0_38043555的博客
03-07 2万+
一文掌握Pytorch-onnx-tensorrt模型转换pytorch转onnx pytorch转onnx 对于实际部署的需求，很多时候pytorch是不满足的，所以需要转成其他模型格式来加快推理。常用的就是onnx，onnx天然支持很多框架模型的转换， 如Pytorch,tf,darknet,caffe等。而pytorch也给我们提供了对应的接口，就是torch.onnx.export。下面具体到每一步。 首先，环境和依赖：onnx包，cuda和cudnn，我用的版本号分别是1.7.0, 10.1
onnx转tensorrt
weixin_38241876的博客
03-10 469
【代码】onnx转tensorrt。
一文看懂pytorch转换ONNX再转换TenserRT
xian0710830114的专栏
04-08 3601
pytorch转换ONNX再转换TenserRT
推荐开源宝藏：onnx-typecast，打通ONNX模型的INT64到INT32转换之路
最新发布
gitblog_00726的博客
09-11 357
推荐开源宝藏：onnx-typecast，打通ONNX模型的INT64到INT32转换之路 onnx-typecast Script to typecast ONNX model parameters from INT64 to INT32. ...
模型量化！ONNX转TensorRT(FP32, FP16, INT8)
qq_43522163的博客
01-19 5289
模型量化！ONNX转TensorRT(FP32, FP16, INT8)
onnx-＞trt路线遇见的坑
爱CV
03-16 1653
1. 多卡训练的模型单卡测试； 参考：#https://www.cnblogs.com/wildkid1024/p/13025352.html # kwargs={'map_location':lambda storage, loc: storage.cuda(gpu_id)} def load_GPUS(model,model_path): state_dict = torch.load(model_path,) # create new OrderedDict that doe.
yolov5模型转换为TensorRT模型时报错Your ONNX model has been generated with INT64 weights
liguiyuan的博客
03-14 3740
因为我们的onnx模型参数类型是INT64, 然后TensorRT是不支持 INT64的。这就需要我们先把ONNX模型的精度降到 INT32，然后再进行转换为 TensorRT模型。
onnx格式转tensorRT
qq_37635157的博客
01-13 2160
自己写的onnx转trt的代码。 此处记录几点： 模型的输入须为numpy格式，所以直接从DataLoader取出的数据是不能直接扔进模型的 模型的输入是多个的时候，如输入多张图片时，可以通过下面这种代码格式传入数据。 inputs[0].host = data[0] inputs[1].host = data[1] inputs[2].host = data[2] inputs[3].host = data[3] 【该代码是在已经获得engine文件和onnx文件的情况下进
一文玩转tensorrt onnx+tensorrtx
qq_34809969的博客
06-12 5280
文章目录前言一、浅谈tensorrt二、tensorrtx的使用学习轨迹1.初出茅庐2.读入数据总结 前言 本文主要是针对onnx部署方式和tensorrtx（通过tensorrt网络定义API实现网络）两种方式进行对比，特别是刚入坑的小伙伴不知道用哪种方式更合适，更合理时，本文或许能够帮你捋清整个tensorrt的学习思路。 提示：这不是开往幼儿园的车，请各位坐稳抓紧了。 一、浅谈tensorrt 能有兴趣看这篇文章的我想或多或少对tensorrt有所了解，我不知道大家是因为什么了解到的tensor.
pytorch经onnx使用TensorRT部署转换踩坑记录
baidu_33738335的博客
12-17 7283
老版本踩坑 1. Pytorch模型中不能有条件支路 因为Pytorch模型转onnx模型的过程中，需要传给模型一个假的输入，然后做一次前向传播，再根据前向传播的结果来做模型的转换 2. Pytorch中的某些操作在TensorRT中不支持 x = x.view(x.size(0), -1)不支持，换成x = x.flatten(1) torch.unsqueeze(x[:, 0], 1)不支持，需要去掉 动态size是不支持的，比如h = x.size()[2]，改成具体数值 3. Pytorch中的
TensorRT & C++ & TensorFlow & DenseNet & CIFAR10模型部署
weixin_44285683的博客
08-25 2569
TensorRT & C++ & TensorFlow & DenseNet & CIFAR10模型部署
onnx-simplifier 模型简化中报错处理
yyc1820252161的博客
04-18 2256
报错1：Your ONNX model has been generated with INT64 weights, while TensorRT does not natively support INT64. Attempting to cast down to INT32 报错2：RuntimeError: The shape of input "input_1" has dynamic size "[0, 0, 0, 3]"
【部署】TensorRT边缘部署
不知道在干嘛每天
12-09 3981
文章目录TensorRT简介方案步骤保存训练好的模型saved_model 转 onnx验证转换后的onnx的模型的正确性onnx 转 trt命令形式用代码转换推理 项目背景： 把tensorflow训练好的模型部署到嵌入式设备jetson nano上，做边缘计算。 TensorRT简介 tensorrt官方文档 方案 tensorflow -> onnx -> trt tensorflow：训练好的模型要保存为saved_model格式（在【04】keras高级API 文章中有说明）
TensorRT4.0开发手册（1）
abrams90的专栏
05-21 7577
 第一章 综述NVIDIA的TensorRT是一个基于GPU高性能前向运算的C++库。TensorRT导入网络定义，通过合并tensors与layers，权值转换，选择高效中间数据类型，基于层参数与性能评估的选择，来进行网络优化。TensorRT提供模型导入途径来帮助你对训练好的深度学习模型进行表示，同于TensorRT的优化与运行。这种优化工具自动进行图优化，层融合，并利用多样化的高度优化的计算...
模型部署入门教程（八）：如何添加 TensorRT 自定义算子
qq_39967751的博客
08-19 3926
本篇教程我们主要讲述如何在 MMDeploy 代码库中添加一个自定义的 TensorRT 插件，整个过程不涉及太多更复杂的 CUDA 编程，相信小伙伴们学完可以自己实现想要的插件
上采样pytorch转onnx之onnx runtime error，以及tensorrt解析onnx的错误（Floor int32）
随便记记
04-26 2746
pytorch->onnx错误 出现场景 pytorch（v1.1.0）训练了一个Unet网络，其中用到了上采样层，最开始直接用torch.onnx.export转onnx(Opset=9)时出现错误： RuntimeError: Failed to export an ONNX attribute, since it’s not constant, please… 原因 就是pytorch...
解决TensorRT does not natively support INT64的问题记录
hlld__的博客
01-19 9142
问题描述 在对使用PyTorch导出的onnx模型进行TensorRT解析时出现：Your ONNX model has been generated with INT64 weights, while TensorRT does not natively support INT64. Attempting to cast down to INT32.的错误。 解决方法 在网上有找到解决方案把onnx模型转TensorRT模型的trt模型报错，但由于机器上安装的onnx版本是1.8.0，pytorch版本是
使用tensorrt_inference库导出RetinaFace-R50模型到TensorRT Engine
TracelessLe的专栏
03-24 5431
前言 TensorRT是NVIDIA推出的一款高效深度学习模型推理框架，其包括了深度学习推理优化器和运行时，能够让深度学习推理应用拥有低时延和高吞吐的优点。 RetinaFace 作为一款InsightFace出品的较为优秀的单阶段人脸检测器，使用TensorRT进行模型转化来提升推理速度很有必要。 RetinaFace TensorRT加速 本文主要参考tensorrt_inference开源库，将RetinaFace -R50模型转为TensorRT engine并使用自带C++代码运行测试。
pytorch ONNX
09-21
Pytorch是一个深度学习框架，而ONNX是一种开放的神经网络交换格式。Pytorch可以通过torch.onnx.export函数将模型转换为ONNX格式。然而，Pytorch自带的torch.onnx.export转换得到的ONNX，ONNXRuntime需要的ONNX，TensorRT需要的ONNX都是不同的。这意味着不同的工具和库对ONNX格式有不同的要求和支持。因此，在将Pytorch模型转换为ONNX时，需要注意不同库之间的兼容性和差异。 对于Pytorch转换为ONNX的过程，由于Pytorch没有图的概念，所以需要通过让ONNX记录模型运行的结果来抽象成一张图。这样的转换过程有两个天然的局限。另外，Pytorch的MaxUnpool实现和ONNXRuntime对输入的Idx格式要求也不同，因此需要对输入的Idx做额外的处理，以便在ONNXRuntime中获得相同的结果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值