Tritonserver+TensorRT实现服务端部署
写在前面
项目需要,因此要完成模型训练到实际服务端部署的全过程,但是之前只是专注于模型的训练,未接触过实战,就借此机会将训练好的模型部署全过程做一个记录
工具和环境需求#
我本地的电脑环境如下:
Python 3.8
PyTorch 1.12.1
GPU RTX 3060 Laptop
CUDA 11.2
Tritonserver
和 TensorRT
都是 Docker 拉取的镜像,使用的命令如下表:
docker pull nvcr.io/nvidia/tritonserver:21.08-py3
docker pull nvcr.io/nvidia/tensorrt:21.08-py3
细心的应该已经注意到了,我拉取的Tritonserver
和 TensorRT
后缀都是一样的21.08
,这是因为Tritonserver
对能够使用的tensorrt文件是有要求的,如果运气不好,版本不对应有可能会导致Tritonserver
运行不起来,为了避免踩坑,干脆就直接拉同样的即可。
如果嫌弃Docker的文件太大