深度学习模型服务端部署：Triton server+TensorRT【PyTorch格式----＞ONNX格式----＞TensorRT格式----＞利用Triton server部署】

Tritonserver+TensorRT实现服务端部署

写在前面

项目需要，因此要完成模型训练到实际服务端部署的全过程，但是之前只是专注于模型的训练，未接触过实战，就借此机会将训练好的模型部署全过程做一个记录

工具和环境需求#

我本地的电脑环境如下：

Python 3.8

PyTorch 1.12.1

GPU RTX 3060 Laptop

CUDA 11.2

Tritonserver 和 TensorRT 都是 Docker 拉取的镜像，使用的命令如下表：

docker pull nvcr.io/nvidia/tritonserver:21.08-py3
docker pull nvcr.io/nvidia/tensorrt:21.08-py3

细心的应该已经注意到了，我拉取的Tritonserver 和 TensorRT 后缀都是一样的21.08，这是因为Tritonserver对能够使用的tensorrt文件是有要求的，如果运气不好，版本不对应有可能会导致Tritonserver运行不起来，为了避免踩坑，干脆就直接拉同样的即可。

如果嫌弃Docker的文件太大࿰