TensorRT模型部署实战，英伟达平台，C++ 和python对比（包含源码）

本文介绍了可以使用C ++ API执行的TensorRT用户目标和任务。 进一步的细节在 Samples 部分提供，并在适当的情况下链接到下面。

假设您从一个已经训练好的模型开始。 本章将介绍使用TensorRT的以下必要步骤：

从模型中创建 TensorRT 网络定义

• 调用 TensorRT 构建器以从网络创建优化的运行时引擎
• 序列化和反序列化引擎，以便在运行时快速重新创建
• 喂入数据为引擎提供执行推理

C++ API vs Python API

从本质上讲，C++ API和 Python API在支持您的需求方面应该完全相同。 C++ API应该用于任何性能关键场景，以及安全性很重要的场合，例如汽车行业。

Python API的主要好处是数据预处理和后处理易于使用，因为您可以使用各种库，如 NumPy 和 SciPy。 有关 Python API 的更多信息，请参阅使用Python部署TensorRT.

1. C++实例化TensorRT对象

要运行推理，需要使用 IExecutionContext 对象。