TensorRT 加载模型onnx报错： Error Code 10: Internal Error (Could not find any implementation for node

最新推荐文章于 2024-05-23 09:48:56 发布
最新推荐文章于 2024-05-23 09:48:56 发布
阅读量3k 收藏 3
点赞数 1
文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43971124/article/details/127554102
版权

1. 背景

在TensorRT加载ONNX文件(bert模型）过程出现如标题所示的错误信息。在相同的代码，相同的TensorRT版本，在3090（+win10）可以进行正常加载和推理，在T4（+linux)报了如上的错误信息。

2.解决

设置workspace大小

config->setMaxWorkspaceSize(1<<30);

3.参考

https://github.com/NVIDIA/TensorRT/issues/1766

怕困难的牛牛
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
【解决方案】onnx 转 TensorRT (.plan, .trt) 报错 Error[10]: Could not find any implementation 或 OutOfMemory 问题
weixin_44212848的博客
04-02 912
【解决】将动态输入输出的 .onnx 模型转化为 .plan 过程中，出现了 Error[10] Could not find any implementation for node {ForeignNode 报错。
Error Code 10: Internal Error (Could not find any implementation for node xxx_xx.)解决方法
zhaozebin666的博客
04-16 3163
Error Code 10: Internal Error (Could not find any implementation for node xxx_xx.)解决方法
【已解决】ONNXRuntimeError 9 NOT_IMPLEMENTED Could not find an implementation for ArgMax(13) node with
最新发布
weixin_44212848的博客
05-23 335
这里的范围 0 到 49408 的 token 输入通常来自于 CLIP 模型的文本 tokenization 过程。CLIP 模型中的文本输入需要经过 tokenization，以便将每个词转换为一个唯一的 token ID。在对 CLIP 模型的文本 encoder 模块从 .pt 到 .onnx 的转化过程中，遇到报错。遇到的问题大概率是由于ONNX Runtime不支持模型中的ArgMax操作的。另外，也可以尝试在模型外部实现ArgMax操作，并将结果传递给网络。
jetson-inference error code 10 internal error (could not find any implementation for node) #1499
Chen_Nlin的博客
09-16 929
解决BUG
【BUG】 Could not find an implementation for ConvInteger(10) node with name ‘Conv_0_quant‘
qq_55542491的博客
01-15 609
我在onnx动态量化后出现了“Could not find an implementation for ConvInteger(10) node with name 'Conv_0_quant'“错误。更改为QUint8格式就可以了，weight_type=QuantType.QUInt8。虽然动态量化可以了，但是速度反而变慢了。
[Debug] TensorRT-Polygraph工具
ccheiheihei的博客
06-29 1505
[Debug] TensorRT-Polygraph工具
FCN8s 转 tensorrt（通过wts文件）
蓝羽飞鸟的博客
12-14 3923
先用pytorch训练FCN，然后把权重的pth文件，先转为wts文件，然后在NX板上转为tensorrt的engine文件 只写具体思路和遇到的问题，完整版参考github 这里写的是paper里的由vgg16而来的FCN，首先实现vgg16的tensorrt 先来看下vgg16的结构 'vgg16': [64, 64, 'M', 128, 128, 'M', 256, 256, 256, 'M', 512, 512, 512, 'M', 512, 512, 512, 'M'] 其中每一层的数字表示输出
IntelliJ IDEA报错Error:java: Compilation failed: internal java compiler error的解决办法
08-26
在使用IntelliJ IDEA开发Java项目时，可能会遇到一个令人头疼的错误：“Error:java: Compilation failed: internal java compiler error”。这个错误通常意味着IDE在尝试编译代码时遇到了内部问题，可能是由于配置不...
SVN报错:Error Updating changes:svn:E155037的解决方案
08-26
在使用Subversion (SVN) 进行版本控制时，可能会遇到各种错误，其中之一就是"Error Updating changes: svn:E155037"。这个错误通常表明在执行SVN操作时发生了问题，可能是由于文件或目录的锁、冲突或其他内部数据库...
Ubuntu 18 搭建openjdk源码 报错误 configure: error: Could not find required tool for ZIPEXE
01-07
前几天看完了深入理解 Java 虚拟机-JVM 高级特性与最佳实践(第2版) 这本书突发奇想想研究一下jdk的源码，所以在csdn上把自己的搭建过程记录一下，避免下次踩坑（虽然我也看不懂 卑微 有需要的小伙伴可以加我QQ：...
android中遇到ERROR: Could not find method clean() for arguments这个奇葩的错误如何解决！！
01-03
Could not find method clean() for arguments [{type=class org.gradle.api.tasks.Delete}, build_458py9op120bi768cfxm5xc2wrunclosure1_run_closure1r​unc​losure1_closure4@7daf132f] on object of type org....
运行报错：Error: error:0308010C:digital envelope routines::unsupporte
05-18
1、运行报错：Error: error:0308010C:digital envelope routines::unsupported 1、问题描述 使用VScode运行项目： PS D:\MrWu\DCode\VScode\antd4\datalake-flow-monitor-web-master> npm run start 运行报错： PS...
PyTorch模型转ONNX后再转TensorRT遇到的几个报错
lavinia_chen007的博客
10-11 7960
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
pytorch模型转ONNX转TensorRT，模型转换和推理部署
JimmyGoong的博客
02-20 1869
模型转换，模型部署。pth模型转ONNX，ONNX转TensorRT
Tensorrt8 onnx-to-tensorrt
u013548568的博客
03-30 427
tensorrt8主要在max_batch_size以及fp16_mode等的设置上有所不同，代码如上。
TensorRT-8量化分析
吴建明wujianming_110117
03-17 2152
TensorRT-8量化分析 本文讲非对称量化、量化方式等等一些细节，不过有一段时间在做基于TensorRT的量化，需要看下TensorRT的量化细节。这次文章是偏实践的一篇，主要过一下TensorRT对于explict quantization的流程和通用的量化思路。 01 0x01 TensorRT量化 都2022年了，量化技术已经很成熟了，各种量化框架[1]和量化算法层出不穷。之前接触过几个量化框架，大部分都是在算法层面模拟一下，实际上无法直接部署到具体的硬件层，也只是停留在算法的层面。而现在成熟的量
jetson nano使用tensorRT运行trt-yolov3-tiny
M_T_M的博客
04-26 3254
jetson nano 运行trt-yolov3-tiny1.下载trt-yolo2.运行脚本安装所需的文件3.编译安装4.添加测试图片5.运行模型 1.下载trt-yolo https://github.com/NVIDIA-AI-IOT/deepstream_reference_apps/tree/restructure 2.运行脚本安装所需的文件 $ cd <你的文件路径>/de...
trt-yolo app 测试“try increasing the workspace size with IBuilder::setMaxWorkspaceSize()” 错误处理
DONGHUIB的博客
02-05 2939
环境： - Board: Author: Raffaello Bonghi * Name: NVIDIA Jetson NANO/TX1 ...
IntelliJ IDEA启动报错：ERROR StatusLogger Log4j2 could not find a logging implementation.
08-16
您好！对于IntelliJ IDEA启动报错的问题，可能是由于缺少日志实现导致的。您可以尝试以下解决方法： 1. 确保您的项目中包含了适当的日志依赖，比如log4j或logback等。您可以在项目的构建文件（如pom.xml或build.gradle）中添加相关依赖。 2. 检查您的项目中是否存在log4j2.xml或logback.xml等日志配置文件。如果不存在，可以创建一个并配置日志输出的方式。 3. 确保您的IntelliJ IDEA中已经正确配置了日志框架。您可以打开"Settings"（Windows下为File -> Settings，macOS下为IntelliJ IDEA -> Preferences），然后找到"Editor -> Log Viewer"选项，选择适当的日志框架。 4. 如果您使用的是较旧版本的IntelliJ IDEA，可能需要升级到最新版本以解决此问题。 如果以上方法都无法解决问题，请提供更多详细的错误信息和项目配置信息，以便我们能够更好地帮助您解决问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值