TorchScript VS. ONXX

使用ONNX和Torchscript加快推理速度的测试 - 知乎 (zhihu.com)


 

结论：

1. Batch size小时，ONNX明显比TorchScript要快；Batch size大时，差距缩小；

2. Batch内部的序列长度相似时，Batch size越大，加速效果约好；

3. 序列越长，加速效果越不明显

4. Batch内部的序列长度相差大的话，Batch size可能在中间某个范围是加速比最大的，因为再大就带来很多“补齐”造成的冤枉计算。