模型部署架构

官网：Triton Inference Server | NVIDIA Developer

Simplifying and Scaling Inference Serving with NVIDIA Triton 2.3 | NVIDIA Technical Blog

模型训练只是DeepLearning的一小部分，如《Hidden Technical Debt in Machine Learning Systems》NIPS2015机器学习系统的技术债
书中所说。

现有几种搭建框架

Python：TF+Flask+Funicorn+Nginx
FrameWork：TF serving，TorchServe，ONNX Runtime
Intel：OpenVINO，mms，NVNN，QNNPACK（FB的）
NVIDIA：TensorRT Inference Server（Triton），DeepStream

主要说现阶段比较主流的

TensorRT
硬件T4的GPU（也可嵌入端等NVIDIA设备）
软件TensorRT （Triton）2020年TensorRT改名为Triton