当PyTorch模型需要部署到服务时,为了提升访问速度,需要转换为TRT模型,再进行部署。在转换为TRT模型之前,需要将PyTorch参数模型(如pth.tar)转换为pt模型,使用jit形式。pt模型 = 参数模型(pth.tar) + 网络结构(如resnet50)。使用pt模型,可以简化使用方式,同时也方便转换为trt模型,进行轻量级部署。在转换函数中,包含验证逻辑,保证转换前后的模型效果一致,即输出不变。
以图像分类框架pytorch-image-models-my为例,将PyTorch的pth.tar模型转换为PT模型。
转换流程如下:
- 加载pth.tar模型model,model达到可以预测的标准,即:
# 加载模型
model = timm.create_model