Nvidia Triton Inference Server——强大推理和部署引擎，你值得拥有！

1. 引言

1.1 Nvidia Trion Server介绍

Triton Inference Server（Triton推理服务器）是一个开源的深度学习模型推理服务框架，旨在简化深度学习模型的部署推理过程。
Triton 能够从多个深度学习和机器学习框架部署任何AI模型。Triton支持在NVIDIA GPU、x86和ARM CPU或AWS Inferentia上进行云、数据中心、边缘和嵌入式设备上的推理。
Triton推理服务器针对多种查询类型提供了优化的性能，包括实时、批量、集成和音视频流式处理。

1.2 主要功能和特点

• 支持多个深度学习框架
• 支持多个机器学习框架
• 并发模型执行
• 动态批处理
• 提供后端API，允许添加自定义后端和前/后处理操作
• 基于社区开发的KServe协议的HTTP/REST和GRPC推理协议
• C API和Java API允许Triton直接链接到应用程序，用于边缘和其他内部使用情况
• 指示GPU利用率、服务器吞吐量、服务器延迟等的指标

1.3 支持的深度学习框架

• TensorRT
• TensorFlow
• PyTorch
• ONNX
• OpenVINO
• Python
• RAPIDS FIL

1.4 总体框架

• Model Repository
  模型存储库(Model Repository) 是一个基于文件系统的模型存储库，其中包含Triton用于推理的可用模型。
• Inference Request
  推理请求通过HTTP/REST、GRPC或C API到达服务器，然后被路由到适当的每个模型的调度程序。
• Scheduler Queues
  每个模型的调度程序可以选择对推理请求进行批处理，然后将请求传递给与模型类型相对应的后端。
• Framework Backends
  后端使用批处理请求中提供的输入进行推理，以生成所请求的输出。然后返回输出结果。
• C API
  Triton支持后端C API，允许Triton扩展新功能，例如自定义前处理和后处理操作，甚至是新的深度学习框架。
• Status/Health Metrics
  可用性、活跃性、健康端点以及利用率、吞吐量和延迟指标简化了将Triton集成到诸如Kubernetes之类的部署框架中。​

---

2. 安装和配置

2.1 安装方式

Triton推理服务器提供可编译的源代码，但安装和运行Triton的最简单方式是使用来自NVIDIA GPU Cloud（NGC）的预构建Docker镜像。
模型存储库是放置希望Triton提供服务的模型的目录。示例模型存储库已包含在docs/examples/model_repository中。

$ cd docs/examples
$ ./fetch_models.sh

2.2 启动triton

Triton经过优化，使用GPU以提供最佳的推理性能，但也可以在仅使用CPU的系统上运行。在两种情况下都可以使用相同的Triton Docker镜像。
使用以下命令运行Triton，并使用刚创建的示例模型存储库。Docker必须安装NVIDIA Container Toolkit 以识别GPU。–gpus=1标志将一个GPU提供给Triton进行推理。

$ docker run --gpus=1 --rm -p8000:8000 -p8001:8001 -p8002:8002 -v/full/path/to/docs/examples/model_repository:/models nvcr.io/nvidia/tritonserver:<xx.yy>-py3 tritonserver --model-repository=/models

启动Triton后，控制台上将输出服务器启动并加载模型的输出。当看到以下输出时，表明Triton已准备好接受推理请求。

+----------------------+---------+--------+
| Model                | Version | Status |
+----------------------+---------+--------+
| <model_name>         |