Nvidia TensorRT系列01-TensorRT的功能1

Nvidia TensorRT系列01-TensorRT的功能1

B站：肆十二-的个人空间-肆十二-个人主页-哔哩哔哩视频 (bilibili.com)

博客：肆十二-CSDN博客

问答：(10 封私信 / 72 条消息) 肆十二 - 知乎 (zhihu.com)

C++和Python API

TensorRT的API同时支持C++和Python两种语言，两者的功能几乎完全相同。Python API便于与Python数据处理工具包和库（如NumPy和SciPy）进行互操作。C++ API可能更高效，并可能更好地满足某些合规性要求，例如在汽车应用中。

注意：Python API并非在所有平台上都可用。更多信息请参考NVIDIA TensorRT支持矩阵。

编程模型

TensorRT在两个阶段中运行。在第一阶段，通常在线下进行，您为TensorRT提供一个模型定义，然后TensorRT会针对目标GPU进行优化。在第二阶段，您使用优化后的模型来运行推理。

第一阶段 构建阶段

TensorRT构建阶段的最高级接口是Builder(C++, Python).。构建器负责优化模型并生成一个Engine。

为了构建一个引擎，您必须：

1. 创建一个网络定义。
2. 为构建器指定配置。
3. 调用构建器来创建引擎。

NetworkDefinition接口 (C++,