1:.pth ------.onnx --------.engine利用的库是volksdep
部署情况可参考
这个里面基本上思路是.pth - onnx -- engine python 部署,同样这个SDK 也有C的部分,但是需要更改。
加载模型的时候,如果有问题,可能是模型插值的一些问题,百度就可以出来。
2: float32-float16-int8
TensorRT INT8量化原理以及如何编写校准器类进行校准_AI数据工厂-CSDN博客
第一节中的部署是float的没有经过量化,一版在边缘部署需要量化加速:
量化需要一个校准器。Calb参考下面连接。
https://gitee.com/skming7216/calibrt
3:不同的机器,生成的int8引擎是大小不一样的,这个和机器的配置有关
配置文件需要计算数据集的均值和方差