tensorrt轻松部署高性能dnn推理_NVIDIA Triton推理服务器助力深度学习推理

NVIDIA Triton推理服务器（NVIDIA Triton Inference Server），此前称为TensorRT推理服务器(TensorRT Inference Server)，现可通过NVIDIA NGC或GitHub访问。

NVIDIA Triton推理服务器能够帮助开发人员和IT/DevOps轻松地在云端、本地数据中心或边缘部署高性能推理服务器。该服务器通过HTTP/REST或GRPC端点提供推理服务，允许客户端请求对服务器管理的任何模型进行推理。

开发人员和AI公司可以使用NVIDIA Triton推理服务器部署不同框架后端（如TensorFlow、TensorRT、PyTorch和ONNX Runtime）的模型。

Tracxpoint目前已经采用了NVIDIA Triton推理服务器，该公司是新一代自助结账杂货店解决方案的全球领先供应商。

该公司正在努力使店内零售体验变得像在线零售一样精简。为此，他们使用深度学习来对购物车中的购物物品执行目标检测，提供从供应商到客户的个性化实时服务，并通过购物通道提供导航。

Tracxpoint使用NVIDIA Triton推理服务器部署和服务于来自不同框架（如TensorFlow和TensorRT）的多个模型。NVIDIA Triton推理服务器使他们能够灵活地无缝地更新重新训练的模型，而不需要任何应用程序重启或中断用户。

NVIDIA Triton推理服务器也是开放式推理平台Kubeflow和KFServing的一部分。Triton推理服务器将是最早采用新KFServing V2 API的服务器之一。

有关NVIDIA Triton 推理服务器的更多信息，请访问NVIDIA inference网页、GitHub和NGC。