TensorRT动态尺寸输入

TensorRT动态尺寸输入

---

首先可以看一下官方TensorRT文档里的对限制性的一些描述以及一些Profile的一些描述

在目前7.0的文档里TensorRT是支持动态输入的，这个章节里面还是有不少东西可以看看的，明确的给了API怎么用，Profile该怎么写。

Dynamic shapes are the ability to defer specifying some or all tensor dimensions until runtime. Dynamic shapes can be used via both the C++ and Python interfaces.

---

然后可以看一下的东西是NVIDIA官方TensorRT的README部分的DEMO

Example 4: Running an ONNX model with full dimensions and dynamic shapes

To run an ONNX model in full-dimensions mode with static input shapes:
./trtexec --onnx=model.onnx
The following examples assumes an ONNX model with one dynamic input with name input and dimensions [-1, 3, 244, 244]
To run an ONNX model in full-dimensions mode with an given input shape:
./trtexec --onnx=model.onnx --shapes=input:32x3x244x244
To benchmark your ONNX model with a range of possible input shapes:
./trtexec --onnx=model.onnx --minShapes=input:1x3x244x244 --optShapes=input:16x3x244x244 --maxShapes=input:32x3x244x244 --shapes=input:5x3x244x244

---

关于ONNX->TensorRT的动态尺寸怎么处理，可以看一下这个issue，内容还是相对明确的，也有人给出了一些明确的解决方案。