本文介绍了如何利用TensorRT提供的trtexec工具将ONNX模型转化为cudaEngine。trtexec是一个可执行文件，提供model options、build options、inference options和system options等设置。转换过程中，对于固定尺寸的ONNX模型，可以直接转换；而对于可变尺寸的模型，需要指定profile来定义输入的最小、最优和最大尺寸，以适应不同大小的输入数据。在实际推理中，用户可以选择适合的转换方式。
TensorRT自带的trtexec在bin目录下，是一个可执行文件。
运行./trtexec -h
其中给出了 model options、build options、 inference options和system options等。
上次我们使用TensorRT的pyhton API进行序列化模型和前向推理，这次介绍使用trtexec转模型。
- 从固定尺寸的onnx转cudaEngine
./trtexec --explicitBatch --onnx=./resnet50.onnx --saveEngine=resnet50.engine
- 从可变尺寸的onnx转cudaEngine，需要指定profile。
./trtexec --onnx=./resnet50_dynamic.onnx --explicitBatch \
--minShapes="input":1x3x224x224
最低0.47元/天 解锁文章
扫一扫
4697
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
