ONNX注意事项

原创 已于 2025-06-25 14:13:48 修改 · 404 阅读 · 4 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#pytorch #onnx #TensorRT

于 2025-06-09 16:27:33 首次发布

本篇记录建议搭配 ONNX模型结构解析-CSDN博客 共同查阅

1.在onnx -> trt的转化过程中，会提示警告：

WARNING: onnx2trt_utils.cpp:374: Your ONNX model has been generated with INT64 weights, while TensorRT does not natively support INT64. Attempting to cast down to INT32.

解决方法：该问题无法解决，且几乎不会影响推理结果。

在ONNX内部结构中，可以出现int64类型的数据可能在两个地方，一个是model.graph.initializer中，内部存储一些张量权重等数据，此处若出现int64数据，是可以手动修改为int32类型的；另外一个地方是model.graph.node中的attribute数据，该类数据的类型如果是整形或者整形数组，则对应的类型为INT和INTS，默认是int64类型，因此此处无法手动修改。

而在TensorRT中，暂不支持INT64类型的数据。

 2.若.onnx模型的输入或输出是int64类型，对于低版本的TensorRT，解析时可能自动转为int32类型，而高版本例如10.x，仍会保留int64的输出，因此，建议统一在生成PyTorch模型时，就把类型提前转为int32，避免后续不同版本的解析歧义。

3.更新中…

导出onnx需要注意的事项
@bangbang的博客
12-19 763
这些做法的必要性体现在，简化过程的复杂度，去掉gather,shape类的节点，很多时候部分不这么改看似也是可以的，但是需求复杂后，依旧存在各类问题。按照说的这么修改，基本总能成。做了这些，就不需要使用onnx-simplifer了。
ONNX输出名称及算能TPU部署中的关键注意事项
浩瀚之水的专栏
10-22 1043
在模型量化（PTQ）及硬件部署（如算能TPU）场景下，ONNX输出名称的规范性和一致性直接影响模型转换、量化工具链适配和推理流程。
把onnx模型转TensorRT模型的trt模型报错：Your ONNX model has been generated with INT64 weights. while TensorRT
热门推荐
求真、务实
07-31 2万+
欢迎大家关注笔者，你的关注是我持续更博的最大动力 原创文章，转载告知，盗版必究 把onnx模型转TensorRT模型的trt模型报错：[TRT] onnx2trt_utils.cpp:198: Your ONNX model has been generated with INT64 weights, while TensorRT does not natively support INT64. Attempting to cast down to INT32. 文章目录：1 错误原因分析2 错误..
onnx | 把onnx模型转trt报错：Your ONNX model has been generated with INT64 weights. while TensorRT
Mopes__的博客
03-25 3068
onnx | 把onnx模型转trt报错：Your ONNX model has been generated with INT64 weights. while TensorRT
解决onnx转换成trt模型时遇到的问题
Q_452086192的博客
12-14 2345
解决onnx转换成trt模型时遇到的问题。
onnx-simplifier 模型简化中报错处理
yyc1820252161的博客
04-18 2646
报错1：Your ONNX model has been generated with INT64 weights, while TensorRT does not natively support INT64. Attempting to cast down to INT32 报错2：RuntimeError: The shape of input "input_1" has dynamic size "[0, 0, 0, 3]"
火灾 火焰识别 ONNX模型
08-11
火焰识别ONNX模型火焰识别ONNX模型火焰识别ONNX模型火焰识别ONNX模型火焰识别ONNX模型火焰识别ONNX模型火焰识别ONNX模型火焰识别ONNX模型火焰识别ONNX模型火焰识别ONNX模型火焰识别ONNX模型火焰识别ONNX模型火焰识别...
ONNX 转 RKNN 时的注意事项
最新发布
weixin_57688061的博客
09-05 880
核心原则​：​训练、模型转换、推理三个环节的预处理必须完全相同​​。通道顺序​​：务必注意 ​RGB/BGR​ 通道顺序的一致性。这是常见的错误来源。最佳实践​：​​强烈建议​在 RKNN 转换时 (`rknn.config`) 就正确配置好 `mean_values`和 `std_values`，这样在推理端只需提供 `UINT8`数据，可以简化代码并提升效率。验证方法。
pytorch 将onnx模型转换为trt TensorRT模型
03-20
适用于TensorRT8.0版本及以上 使用步骤 1、chmod 添加文件执行权限 2、将onnx路径修改为自己的onnx模型路径 3、运行py问价
yolov5模型转换为TensorRT模型时报错Your ONNX model has been generated with INT64 weights
liguiyuan的博客
03-14 4478
因为我们的onnx模型参数类型是INT64, 然后TensorRT是不支持 INT64的。这就需要我们先把ONNX模型的精度降到 INT32，然后再进行转换为 TensorRT模型。
onnx模型转TensorRT模型时出错
weixin_48192326的博客
06-08 1650
【代码】把onnx模型转TensorRT模型出错。
【部署】TensorRT边缘部署
不知道在干嘛每天
12-09 4265
文章目录TensorRT简介方案步骤保存训练好的模型saved_model 转 onnx验证转换后的onnx的模型的正确性onnx 转 trt命令形式用代码转换推理 项目背景： 把tensorflow训练好的模型部署到嵌入式设备jetson nano上，做边缘计算。 TensorRT简介 tensorrt官方文档 方案 tensorflow -> onnx -> trt tensorflow：训练好的模型要保存为saved_model格式（在【04】keras高级API 文章中有说明）
解决TensorRT does not natively support INT64的问题记录
hlld__的博客
01-19 1万+
问题描述 在对使用PyTorch导出的onnx模型进行TensorRT解析时出现：Your ONNX model has been generated with INT64 weights, while TensorRT does not natively support INT64. Attempting to cast down to INT32.的错误。 解决方法 在网上有找到解决方案把onnx模型转TensorRT模型的trt模型报错，但由于机器上安装的onnx版本是1.8.0，pytorch版本是
深度学习模型部署(七)TensorRT工作流and入门demo
qq_45983373的博客
03-11 780
探讨了TensorRT的工作流，并给出了一个demo
onnx模型转TensorRT 报错 - Segmentation fault (core dumped) | Your ONNX model has been generated...【最新总结】
专注于AI领域前沿技术学习与分享：目标检测、图像修复、超分重建、AI工程化
09-26 8401
这个报错，目前这个博客提供的方法，然而并没有解决我的问题【这里做个备忘】 https://blog.csdn.net/weixin_41010198/article/details/107712487 文章目录【运行报错一】Segmentation fault (core dumped)onnxsim 进行精简转换成功【PASSED 得到 yolov4_-1_3_608_608_dynamic.engine】【报错二】 ERROR: coreReadArchive.cpp (41) - Serializ.
keras2onnx遇到的错误
qq_33206394的博客
02-24 3692
1、安装pip install keras2onnx 首先要注意，python文件千万别命名为keras2onnx.py 执行python k2o.py ，然后遇到下面错误 Using TensorFlow backend. Traceback (most recent call last): File “k2o.py”, line 2, in import keras2onnx File “/...
onnx 模型 转换成 TensorRT 模型 时, INT64 cast down to INT32 问题
tyq64的博客
06-18 2261
onnx 模型 转换成 TensorRT 模型 时, INT64 cast down to INT32 问题
用C++部署yolov5+deepsort+tensorrt实现目标跟踪
IT菜鸟
01-24 1万+
一、参考资料 Jetson 系列——基于yolov5和deepsort的多目标头部识别，跟踪，使用tensorrt和c++加速 二、相关介绍 2.1 重要说明 该项目能部署在Jetson系列的产品，也能部署在X86 服务器中。 2.2 项目结构 . ├── assets │ └── yolosort.gif ├── build # 编译的文件夹 │ ├── CMakeCache.txt │ ├── CMakeFiles │ ├── cmake_install.cmake │ ├── l
注意力转onnx
05-03
### 将注意力机制模型转换为ONNX格式的方法 将带有注意力机制的深度学习模型转换为ONNX格式是一项常见的需求，尤其是在部署阶段。以下是实现这一目标的关键步骤和技术要点。 #### 1. 准备工作 确保环境已安装必要的库工具，例如 `torch` 和 `onnx`。如果需要优化 ONNX 文件，则需额外安装 `onnx-simplifier` 工具[^1]。 通过命令行执行以下操作完成依赖项安装： ```bash pip install torch onnx onnxsim ``` #### 2. 转换过程中的注意事项 在 PyTorch 中定义并训练好的注意力机制模型可以直接导出为 ONNX 格式，但在实际过程中需要注意一些细节： - **避免直接调用 `.size()` 返回值**：当涉及张量形状的操作时，应显式地将其转为 Python 的整数值再参与后续运算。例如，使用 `int(tensor.size(1))` 替代原始方法[^2]。 - **动态尺寸支持**：为了使生成的 ONNX 模型能够处理不同批次大小的数据输入，建议在 reshape 或 view 操作中仅固定必要维度，而让 batch 维度保持 `-1` 表示自动推断[^2]。 - **插值层配置**：如果有图像缩放功能（如 upsampling），推荐采用 scale factor 参数而非绝对 size 值设定目标分辨率。 - **Softmax 层调整**：某些情况下，PyTorch 默认行为可能引起兼容性问题。因此，在连接多个分支前务必确认 softmax 应用于正确轴向[^2]。 #### 3. 导出代码实例 假设有一个基于 Transformer 架构构建的标准自注意模块作为待迁移对象，其核心部分如下所示： ```python import torch from torch import nn class AttentionModel(nn.Module): def __init__(self, dim=768, num_heads=8): super().__init__() self.attention = nn.MultiheadAttention(embed_dim=dim, num_heads=num_heads) def forward(self, x): attn_output, _ = self.attention(x, x, x) return attn_output + x # Add residual connection # 初始化模型与虚拟数据 model = AttentionModel() dummy_input = torch.randn((1, 50, 768)) # 设置模型评估模式 model.eval() # 执行导出流程 torch.onnx.export( model, dummy_input, "attention_model.onnx", input_names=["input"], output_names=["output"], dynamic_axes={"input": {0: "batch_size"}, "output": {0: "batch_size"}}, opset_version=13 ) print("Exported to ONNX successfully.") ``` 此脚本展示了如何利用 `torch.onnx.export` 方法保存经过验证后的网络结构至文件系统，并允许指定变量名称以及启用动态批处理选项以便灵活适应多种场景下的推理请求[^3]。 #### 4. 后续优化措施 一旦成功创建初始版本之后，还可以借助第三方实用程序进一步精简不必要的组件从而提高效率。比如运行以下指令即可启动简化进程[^1]: ```bash onnxsim attention_model.onnx optimized_attention_model.onnx ``` --- ###
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值