【tensorrt】——Network has dynamic or shape inputs, but no optimization profile has been defined.

最新推荐文章于 2024-07-02 14:12:32 发布
最新推荐文章于 2024-07-02 14:12:32 发布
阅读量2.5k 收藏 1
点赞数
分类专栏： 嵌入式AI 文章标签： tensorrt batch trtexec
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011622208/article/details/120132861
版权
在尝试将ONNX模型转换为TensorRT时遇到错误：'Network has dynamic or shape inputs, but no optimization profile has been defined.'。转换失败的原因是onnx2trt不支持动态batch。解决方案是使用TRT的trtexec工具进行转换。trtexec的使用方法和模型推理性能评估将在后续博客中详述。
摘要由CSDN通过智能技术生成

tensorrt, batch

onnx2trt转多batch模型的时候，报错：

[2021-09-06 06:00:06   ERROR] Network has dynamic or shape inputs, but no optimization profile has been defined.
[2021-09-06 06:00:06   ERROR] Network validation failed.
terminate called after throwing an instance of 'std::runtime_error'
  what():  Failed to create object

解决
onnx2trt不支持动态batch的模型转换。需要使用trtexec来进行模型转换。

trtexec的使用和推理耗时的评测请看下一篇博客。

农夫山泉2号
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
AttributeError: module ‘gradio‘ has no attribute ‘ClearButton‘解决方案
weixin_43178406的博客
11-17 6万+
本文主要介绍了AttributeError: module ‘gradio‘ has no attribute ‘ClearButton‘解决方案，希望能对学习python的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
AttributeError: ‘list‘ object has no attribute ‘size‘解决方案
热门推荐
weixin_43178406的博客
11-28 4万+
本文主要介绍了AttributeError: ‘list’ object has no attribute 'size’解决方案，希望能对使用transformers的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
input只允许输入日期_tensorrt动态输入（Dynamic shapes）
weixin_42365510的博客
11-30 1338
记录此贴的原因有两个：1.肯定也有很多人需要 。2.就我搜索的帖子没一个讲的明明白白的，官方文档也不利索，需要连蒙带猜。话不多少，直接上代码。以pytorch转onnx转tensorrt为例，动态shape是图像的长宽。pytorch转onnx：def export_onnx(model,image_shape,onnx_path, batch_size=1): x,y=image_sha...
Internal Error (Network has dynamic or shape inputs, but no optimization profile has been defined.)
阴无月的博客
08-17 3348
TensorRT部署推理时，onnx模型的动态输入问题
TensorRT动态形状（Dynamic Shape）出错，官方demo+自己模型运行时出错
最新发布
科软搬砖人
07-02 426
TensorRT 10一个问题
TensorRT开发问题合集（持续更新）
P_Leung的技术博客
10-21 1707
问题1： While parsing node number 645 [GlobalAveragePool]: ERROR: builtin_op_importers.cpp:1087 In function importGlobalAveragePool: [8] Assertion failed: !isDynamic(kernelSize) && "Cannot run global average pool on an input with dynamic spatial dimen
【部署】TensorRT边缘部署
不知道在干嘛每天
12-09 3876
文章目录TensorRT简介方案步骤保存训练好的模型saved_model 转 onnx验证转换后的onnx的模型的正确性onnx 转 trt命令形式用代码转换推理 项目背景： 把tensorflow训练好的模型部署到嵌入式设备jetson nano上，做边缘计算。 TensorRT简介 tensorrt官方文档 方案 tensorflow -> onnx -> trt tensorflow：训练好的模型要保存为saved_model格式（在【04】keras高级API 文章中有说明）
使用TensorRT部署抓取检测网络（一）
千羽的计算机视觉与机器人
07-01 2488
1. TensorRT简介 tensorRT是可以在NVIDIA的各种GP U下运行的一个C++推理框架。我们使用Pytorch、TF训练好的模型，可以转化为TensorRT的格式，然后用TensorRT推理引擎去运行这个模型，从而提高模型在英伟达GPU上的运行速度，一般可提高几倍~几十倍。 主流的pytorch部署路径： pytorch →\rightarrow→ ONNX →\rightarrow→ TensorRT torch2trt torch2trt_dynamic TRTorch 2. 抓取
成功解决AttributeError: ‘NoneType‘ object has no attribute ‘shape‘
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
12-01 1万+
成功解决AttributeError: 'NoneType' object has no attribute 'shape' 目录 解决问题 解决思路 解决方法 解决问题 multiplier = [x * model_params['boxsize'] / input_image.shape[0] for x in params['scale_search']] AttributeError: 'NoneType' object has no attribute
TensorRT 5/6/7 加载onnx模型
qq_23116521的博客
07-27 5796
TensorRT5/6加载并转换onnx: def onnx_2_trt(onnx_model_name,trt_model_name): with trt.Builder(G_LOGGER) as builder, builder.create_network() as network, trt.OnnxParser(network, G_LOGGER) as parser: builder.max_batch_size = 1024 builder.
python module has no attribute_求助AttributeError: module ' ' has no attribute ''
weixin_39744606的博客
12-21 3388
引用回帖:天天进步啊 at 2020-04-15 20:41:22一看就知道是python代码，先把你代码贴出来，再讲你的报错...您好，这个代码是Yan Wu, Mihaela Rosca, Timothy Lillicrap Deep Compressed Sensing. ICML 2019的开源代码(This is the example code for the following IC...
优化Windows服务器网络性能 - Optimizing Network Performance
编程岁月
11-03 3764
 Optimizing Network PerformanceOptimizing Network PerformanceIn a BizTalk Server environment where the BizTalk Server computer(s) are separate from the SQL Server computer(s), each and
【模型加速】PointPillars模型TensorRT加速实验(4)
07-25 3233
接上一篇文章PointPillars模型加速实验(3)，到目前为止我们已经成功的将PointPillars网络部分的3大组件PFN,MFN和RPN分别导出了onnx。接下来要将onnx文件build成TensorRT engine并序列化到文件中。对于一般的网络，onnx模型转TensorRT还是比较容易的，目前TensorRT官方对onnx模型的支持是最好的。官方的转换工具TensorRT Backend For ONNX(简称ONNX-TensorRT)也比较成熟了，最新版本已经到8.0.1....
使用tensorrt遇到的一些坑
蜗牛博客
07-16 7900
记录个人使用tensorrt时遇到的一些坑，仅供参考，欢迎一起探讨
mac os 安装Myeclipse错误: Your system does not have sufficient memory to support MyEclipse
sunrising_hill的专栏
11-10 2528
本人sh
TensorRT(4)：NvInferRuntime.h接口头文件分析
hjxu2016的博客
10-26 7273
文章目录一、ICudaEngine类 记录NvInferRuntime.h头文件中的几个重要的接口类以及类中各接口函数的作用 头文件中都有英文注释，这里只是简单中文翻译一下，如有误，欢迎讨论。业余时间，看多少记录多少，纯属笔记。 NvInferRuntime.h是运行TensorRT的最重要的接口头文件之一，NV都说了 This is the top-level API file for TensorRT extended runtime library 介绍几个重要的类 1、ICudaEngine 2、I
8.TensorRT中文版开发教程-----如何在TensorRT中使用动态形状(Dynamic Shapes)
专注于人工智能领域的小何尚
05-02 1万+
在TensorRT中使用动态形状(Dynamic Shapes) 点击此处加入NVIDIA开发者计划 动态形状(Dynamic Shapes) 是延迟指定部分或全部张量维度直到运行时的能力。动态形状可以通过 C++ 和 Python 接口使用。 以下部分提供了更详细的信息；但是，这里概述了构建具有动态形状的引擎的步骤： 1.网络定义不得具有隐式批次维度。 C++ 通过调用创建INetworkDefinition IBuilder::createNetworkV2(1U << s
AttributeError: module 'gradio.inputs' has no attribute 'Files'
09-08
### 回答1： 如果出现`AttributeError: module 'gradio.inputs' has no attribute 'Files'`错误，可能是因为您使用的Gradio版本较旧，不支持`gradio.inputs.Files`组件。 `gradio.inputs.Files`组件是在Gradio 2.0版本中引入的，如果您使用的是旧版本的Gradio，请使用`gradio.inputs.File`组件来上传单个文件，然后在回调函数中将其复制到指定文件夹中。 具体步骤如下： 1. 导入`os`和`shutil`： ```python import os import shutil ``` 2. 定义一个函数，用于保存上传的文件： ```python def save_file(file, folder): # 如果指定的文件夹不存在，则创建它 if not os.path.exists(folder): os.makedirs(folder) # 保存文件到指定的文件夹中 file_path = os.path.join(folder, file.name) with open(file_path, "wb") as f: shutil.copyfileobj(file, f) ``` 3. 在`gradio.Interface`中使用`gradio.inputs.File`组件，并在回调函数中调用上述函数： ```python import gradio as gr def upload_file(file): save_file(file, "path/to/folder") inputs = gr.inputs.File(label="Upload File") outputs = None gr.Interface(upload_file, inputs, outputs).launch() ``` 注意，`save_file`函数中的`folder`参数是指定的文件夹路径，需要根据实际情况进行修改。 这样，用户上传的文件就会被保存到指定的文件夹中。 ### 回答2： 这个错误是由于`gradio.inputs`模块中没有`Files`属性引起的。`gradio.inputs`模块是一个用于定义Gradio应用程序输入的模块，而`Files`是该模块中的一个属性，用于处理上传的文件输入。但是根据错误提示，这个属性似乎不存在。 要解决这个问题，可以尝试以下几个步骤： 1. 确认Gradio的版本。如果你使用的是一个过时的Gradio版本，或者根本没有包括`Files`属性，那么你需要升级Gradio或找到一个支持`Files`属性的版本。 2. 检查你的代码是否正确导入了`gradio.inputs`模块。确保你在代码中正确导入了`gradio.inputs`模块，并且没有使用错误的别名或缩写。 3. 查看`gradio.inputs`模块的文档或示例代码。查阅Gradio的官方文档或示例代码，确认是否有关于`Files`属性的详细说明和使用方法。 4. 向Gradio的开发者社区寻求帮助。如果以上步骤都没有解决问题，那么你可以向Gradio的开发者社区寻求帮助。他们可能会给你提供更具体的解决方案或反馈相关的bug信息。 总之，要解决`AttributeError: module 'gradio.inputs' has no attribute 'Files'`错误，您需要确认Gradio的版本、正确导入模块并查阅相关文档，并向开发者寻求帮助。 ### 回答3： AttributeError: module 'gradio.inputs' has no attribute 'Files' 错误表示在使用gradio库时，尝试访问了gradio.inputs.Files的属性，但该属性不存在。 gradio是一个用于构建Web界面的Python库，可以用于快速创建交互式的机器学习模型演示、原型等。在gradio中，inputs模块用于定义输入组件，例如文本输入框、图像上传等。 然而，gradio.inputs模块中并没有名为Files的属性或类。因此，当我们尝试访问gradio.inputs.Files时，会出现AttributeError错误。 可能的原因是版本问题或代码错误。要解决此问题，可以采取以下步骤： 1. 确保你已经正确安装了gradio库，可以尝试升级到最新版本。 ``` pip install gradio --upgrade ``` 2. 检查代码中是否存在拼写错误或其他语法错误。特别是要确认是否正确导入了gradio.inputs模块。正确的导入语句应该是： ``` import gradio.inputs as gi ``` 3. 检查gradio文档，查看是否有可用的输入组件可以满足你的需求。你可以尝试使用其他输入组件进行替代。 总之，AttributeError: module 'gradio.inputs' has no attribute 'Files'错误表示你尝试访问的属性或类并不存在。需要确保安装了正确的版本，并检查代码中的拼写或语法错误。如有必要，可以参考gradio文档以获取更多帮助。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值