tensorRT--- 动态shape

最新推荐文章于 2024-05-15 15:41:35 发布
最新推荐文章于 2024-05-15 15:41:35 发布
阅读量611 收藏
点赞数
分类专栏： c++ cuda 文章标签： c++ 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42398658/article/details/124896799
版权

动态shape，即编译时指定可动态的范围[L-H]，推理时可以允许 L <= shape <= H

重点提炼：

1. OptimizationProfile 是一个优化配置文件，用来指定输入的 shape 可以变换的范围的，不要被优化两个字蒙蔽了双眼
2. 如果 onnx 的输入某个维度是 -1 ，表示该维度动态，否则表示该维度是明确的，明确维度的 minDims , optDims , maxDims 一定是一样的

动态shape，即编译时指定可动态的范围[L-H]，推理时可以允许 L <= shape <= H

重点提炼：

最低0.47元/天 解锁文章
zsffuture
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
TensorFlow-TensorRT-User-Guide.pdf
11-18
- 提高性能：TensorRT通过自动进行层融合、动态shape优化等技术，显著提高了模型的运行速度。 - 节省资源：优化后的模型通常占用更少的内存，适合资源有限的环境。 - 保持精度：在大多数情况下，TensorRT能够在提高...
ONNX动态输入尺寸的问题【多输出/多输入】【pytorch/onnx/onnxruntime】
热门推荐
Tsuinosora
09-19 1万+
ONNX模型导出动态尺寸的问题 具体可以看一下这个回答 This is a very good question and it’s a topic we have been discussing repeatedly recently. The answer has three parts: whether onnx supports representing models with dynamic shape whether frontends (like pytorch) supports expo
onnx模型转换opset版本和固定动态输入尺寸
we34dfg的博客
11-21 2831
背景：之前我想把onnx模型从opset12变成opset12，太慌乱就没找着，最近找到了官网上有示例的，大爱onnx官网，分享给有需求没找着的小伙伴们。
onnx转trt时，关于动态shape自动配置默认值的脚本
最新发布
ReadyShowShow的博客
05-15 151
onnx转trt时，关于动态shape自动配置默认值，一般需要指定3个shape，分别是最小最优与最大。但是我们在测试时不想写那么多的代码，能否自动实现3个shape的配置，这里实现了一版。用法，可手动指定，也能不指定，用默认的1、256、512作为测试值用于验证。
ONNX的结构与转换
juluwangriyue的博客
11-02 635
onnx结构与转换
tensorRT模型推理时动态shape
Rolandxxx的博客
11-05 1795
和之前全连接的代码唯一的区别就是两个点，一个是网络结构的定义换成了CNN，另一个是动态shape的配置createOptimizationProfile。OptimizationProfile是一个优化配置文件，用来指定输入的shape可以变换的范围的，不要被优化两个字蒙蔽了双眼，其实就是为了告诉tensorRT我的shape是什么范围！在全卷积网络中我们通常就是有这个诉求的，推理时的shape是可以动态改变的，不一定要限制死，这个动态shape不一定只宽高，还指batchsize也是动态的。
4.5 构建onnx结构模型-POW
weixin_45063703的博客
11-13 142
构建onnx方式通常有两种：1、通过代码转换成onnx结构，比如pytorch —> onnx2、通过onnx 自定义结点，图，生成onnx结构本文主要是简单学习和使用两种不同onnx结构，下面以pow结点进行分析。
pytorch转onnx（支持动态batchsize、shape
qq_17127427的博客
04-16 5635
以fcos模型为例，需要输出fpn的5个feature map，需要支持多个尺寸输出、不同batchsize 1、转onnx模型 import argparse import os.path as osp import warnings import numpy as np import onnx import onnxruntime as rt import torch from mmcv import DictAction from mmdet.core import (build_model
将onnx的静态batch改为动态batch及修改输入输出层的名称
Awesome Computer Vision, 做计算机视觉的程序员
07-01 1256
在模型的部署中，为了高效利用硬件算力，常常会需要将多个输入组成一个batch同时输入网络进行推理，这个batch的大小根据系统的负载或者摄像头的路数时刻在变化，因此网络的输入batch是在动态变化的。另一方面，算法工程师在导模型的时候，如果没有指定输入层输出层的名称，导出的模型的层名有时候可读性比较差，比如输出是batchnorm_274这类名称，为了方便维护，也有需要对onnx的输入输出层名称进行修改。通过将输入层和输出层的shape的第一维修改为非数字，就可以将onnx模型改为动态batch。
4.1 构建onnx结构模型-Reshape
weixin_45063703的博客
11-05 784
构建onnx方式通常有两种：1、通过代码转换成onnx结构，比如pytorch —> onnx2、通过onnx 自定义结点，图，生成onnx结构本文主要是简单学习和使用两种不同onnx结构，下面以reshape结点进行分析。
TensorRT-使用TensorRT部署mmdetection模型-支持fp16+int8+动态shape-优质部署项目
02-27
TensorRT_使用TensorRT部署mmdetection模型_支持fp16+int8+动态shape_优质部署项目.zip
深度学习-TensorRT模型部署实战2022
04-11
第三部分tensorRT基础：学习tensorRT的模型编译、推理流程，onnx解析器的使用，学习onnx的结构和编辑修改方法，学习int8量化，插件开发流程，简化的插件开发方法，学习动态shape的应用。 第四部分tensorRT高级：以...
深度学习-TensorRT模型部署实战
06-16
第三部分tensorRT基础：学习tensorRT的模型编译、推理流程，onnx解析器的使用，学习onnx的结构和编辑修改方法，学习int8量化，插件开发流程，简化的插件开发方法，学习动态shape的应用。 第四部分tensorRT高级：以...
深度学习-TensorRT模型部署实战视频课程
09-07
第三部分tensorRT基础：学习tensorRT的模型编译、推理流程，onnx解析器的使用，学习onnx的结构和编辑修改方法，学习int8量化，插件开发流程，简化的插件开发方法，学习动态shape的应用。 第四部分tensorRT高级：以...
导出动态输入（输出）尺寸的onnx并使用openvino2022进行动态推理
xc1105921991的博客
07-18 1810
从导出动态输入尺寸onnx到动态尺寸模型的推理
python pytorch模型转onnx模型（多输入+动态维度）
adsfasfZF的博客
08-11 3771
（多输入+动态维度）整理的自定义神经网络pt转onnx过程的python代码，记录了pt文件转onnx全过程，简单的修改即可应用。
onnx修改模型节点【改变input的shape】
重剑无锋博客
06-29 1228
因为转onnx后模型的输入无法转rknn，所以要对onnx进行节点修改成左边。
【精华】ONNX模型API构造/图优化/模型修改
LeeZhao的博客
07-21 1154
ONNX模型API构造/图优化/模型修改
【ONNX】动态输入尺寸的问题（多输出/多输入）
豆芽菜
07-22 3028
【ONNX】动态输入尺寸的问题（多输出/多输入）
tensorrt动态shape
05-23
TensorRT 支持动态输入和输出形状。这意味着您可以在推理期间更改张量的形状，而不需要重新构建引擎。 在 TensorRT 中使用动态形状需要以下步骤： 1. 创建一个 ICudaEngine 对象，并使用 Dims 类型的最大形状定义输入和输出张量的形状。 2. 在运行时使用 IExecutionContext::setBindingDimensions 方法指定实际输入和输出形状。 3. 在执行推理之前，使用 IExecutionContext::executeV2 方法传递输入和输出缓冲区。 下面是一个使用 TensorRT 动态形状的示例代码： ```python import tensorrt as trt # 创建一个 ICudaEngine 对象 with trt.Builder(TRT_LOGGER) as builder, builder.create_network() as network, \ trt.OnnxParser(network, TRT_LOGGER) as parser: builder.max_workspace_size = 1 << 30 builder.max_batch_size = 1 builder.fp16_mode = True with open(onnx_file_path, 'rb') as model: parser.parse(model.read()) engine = builder.build_cuda_engine(network) # 创建 IExecutionContext 对象 with engine.create_execution_context() as context: # 获取输入和输出绑定信息 input_binding_info = context.get_binding_shape(0) output_binding_info = context.get_binding_shape(1) # 设置实际输入和输出形状 input_shape = (1, 3, 224, 224) output_shape = (1, 1000) context.set_binding_shape(0, input_shape) context.set_binding_shape(1, output_shape) # 创建输入和输出缓冲区 input_buffer = np.zeros(input_shape, dtype=np.float32) output_buffer = np.zeros(output_shape, dtype=np.float32) # 执行推理 context.execute_v2(bindings=[input_buffer, output_buffer]) ``` 在上面的示例中，我们首先使用 TensorRT 的 ONNX 解析器解析 ONNX 模型，并创建一个 ICudaEngine 对象。然后，我们使用 IExecutionContext::get_binding_shape 方法获取输入和输出张量的绑定信息，然后使用 IExecutionContext::set_binding_shape 方法设置实际输入和输出形状。最后，我们创建输入和输出缓冲区，并使用 IExecutionContext::execute_v2 方法进行推理。 需要注意的是，使用动态形状可能会导致一些性能损失，因为 TensorRT 无法在编译时优化缓冲区大小。此外，动态形状功能在某些硬件上可能不受支持。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值