关于多batch推理的一点思考

记录一些关于多batch推理的想法。最近要用nv卡跟其他卡对比多batch推理性能，调研后理了一下逻辑，记录一下，相关命令见我上一篇博文。

首先pytorch模型转onnx模型需要转成支持多batch的onnx模型。然后支持多batch的onnx模型转trt模型不要指定shape，指定optshape。然后推理trt模型，指定shape，这里指定shape不知道有没有效果，感觉没用，因为改变数字推理时间不会变长，应该是固定的用之前转trt的optshape在跑。

最后看结果Throughtput为吞吐量，End-to-End的时间为跑完测试数据的平均时间，如果要算FPS，这里要Xbatchsize。