#生成静态batchsize的engine
./trtexec --onnx=<onnx_file> \
--explicitBatch \
--saveEngine=<tensorRT_engine_file> \
--workspace=<size_in_megabytes> \
--fp16
#生成动态batchsize的engine
./trtexec --onnx=<onnx_file> \
--minShapes=input:<shape_of_min_batch> \
--optShapes=input:<shape_of_opt_batch> \
--maxShapes=input:<shape_of_max_batch> \
--workspace=<size_in_megabytes> \
--saveEngine=<engine_file> \
--fp16
例子动态输入:
/home/zhangsan/TensorRT-7.1.3.4/bin/trtexec --onnx=/home/zhangsan/桌面/tensorrt/bfm-lab-resnet18.onnx --minShapes=input:1x3x224x224 --optShapes=input:4x3x224x224 --maxShapes=input:8x3x224x224 --saveEngine=/home/zhangsab/桌面/tensorrt/bfm-lab-resnet18_fp16.engine --fp16