TensorRT笔记(14)部署TensorRT优化模型

13.部署TensorRT优化模型

创建包含优化推理模型的计划文件后，可以将该文件部署到生产环境中。如何创建和部署计划文件将取决于您的环境。例如，您可能对模型具有专用的推理可执行文件，该可执行文件可加载计划文件，然后使用NVIDIA®TensorRT™Execution API将输入传递给模型，执行模型以进行推理，最后读取模型的输出。
本节讨论如何在某些常见的部署环境中部署TensorRT。

13.1 云端部署

一种常见的用于推理的云部署策略是通过服务器实现模型，该服务器为模型实现HTTP REST或gRPC端点。然后，远程客户端可以通过向该端点发送格式正确的请求来执行推理。该请求将选择一个模型，提供该模型所需的必要输入张量值，并指出应计算哪些模型输出。
要在此部署策略中利用TensorRT优化的模型，不需要进行任何根本性的更改。必须更新推理服务器以接受由TensorRT计划文件表示的模型，并且必须使用TensorRT执行API加载和执行那些计划。可以在《 NVIDIA Triton推理服务器容器发行说明》和《 NVIDIA Triton推理服务器指南》中找到为推理提供REST端点的推理服务器示例。

13.2 部署到嵌入式系统

TensorRT还可以用于将经过训练的网络部署到NVIDIA