Nvidia TensorRT系列01-基本介绍

Nvidia TensorRT系列01-基本介绍

鉴于Nvidia的在深度学习上已经非常完善，即使有其他的芯片或者是框架，基本思路也都是要借鉴Nvidia的开发的，好比虽然特斯拉网上很多骂声，但是大多数国内的车企还是在发布会上狠狠对比，又好比手机发布会狠狠对比Apple，好的东西总是值得大家去借鉴的，对于小公司而言，使用其他公司的生态框架硬件成本看起来很低，但是由于生态和社区一般，实际上运维起来的成本又很高。所以，希望通过更新这个系列来帮助自己对Nvidia的TensorRT进行一些基础的学习。其中大部分文字借鉴了英文原始的开发文档，也是主要方便对于英文阅读文档有困难的小伙伴能有一些小小的帮助。

NVIDIA TensorRT开发者指南展示了如何使用C++和Python API来实现最常见的深度学习层。它向您展示了如何获取使用深度学习框架构建的现有模型，并使用提供的解析器构建TensorRT引擎。开发者指南还为常见用户任务提供了分步说明，例如创建TensorRT网络定义、调用TensorRT构建器、序列化和反序列化，以及如何使用C++或Python API向引擎提供数据并执行推理；

For previously released TensorRT documentation, refer to the TensorRT Archives.

安装指南： NVIDIA TensorRT Installation Guide

快速开始指南： NVIDIA TensorRT Quick Start Guide

案例： NVIDIA TensorRT Sample Support Guide

NVIDIA® TensorRT™是一个软件开发工具包（SDK），有助于实现高性能的机器学习推理。它旨在与TensorFlow、PyTorch和MXNet等训练框架相辅相成。它特别关注如何在NVIDIA硬件上快速且高效地运行已经训练好的网络。

对于英伟达的安培架构或者是更高的架构而言。多实例GPU（MIG）是NVIDIA具有NVIDIA Ampere架构或更新架构的GPU的一项功能，它允许用户将单个GPU定向划分为多个较小的GPU。物理分区提供专用的计算和内存切片，具有服务质量保证，并可在GPU的部分上独立执行并行工作负载。对于GPU利用率较低的TensorRT应用程序，MIG可以在对延迟影响较小或没有影响的情况下产生更高的吞吐量。最佳分区方案是特定于应用程序的。

互补软件

NVIDIA Triton™推理服务器是一个更高级别的库，可在CPU和GPU上提供优化的推理功能。它提供了启动和管理多个模型的功能，以及用于提供推理的REST和gRPC端点。

NVIDIA DALI®为预处理图像、音频和视频数据提供了高性能原语。TensorRT推理可以作为DALI管道中的自定义操作符进行集成。可以在此处找到TensorRT推理作为DALI一部分的工作示例。

TensorFlow-TensorRT (TF-TRT) 是将TensorRT直接集成到TensorFlow中的解决方案。它选择TensorFlow图中的子图以通过TensorRT进行加速，而将图的其余部分留给TensorFlow本地执行。结果仍然是一个TensorFlow图，您可以像往常一样执行它。有关TF-TRT的示例，请参阅TensorFlow中的TensorRT示例。

Torch-TensorRT (Torch-TRT) 是一个PyTorch-TensorRT编译器，可将PyTorch模块转换为TensorRT引擎。在内部，首先根据所选的中间表示（IR）将PyTorch模块转换为TorchScript/FX模块。编译器选择PyTorch图的子图以通过TensorRT进行加速，而图的其余部分则由Torch本地执行。结果仍然是一个可以像往常一样执行的PyTorch模块。有关示例，请参阅Torch-TRT示例。

TensorFlow量化工具包提供了用于以降低的精度训练和部署基于Tensorflow 2的Keras模型的实用工具。此工具包专门用于基于操作符名称、类和模式匹配来量化图中的不同层。然后可以将量化后的图转换为ONNX，然后转换为TensorRT引擎。有关示例，请参阅模型库。

PyTorch量化工具包提供了用于以降低的精度训练PyTorch模型的设施，然后可以将其导出以在TensorRT中进行优化。

此外，PyTorch Automatic Sparsity (ASP) 工具提供了用于训练具有结构化稀疏性的模型的设施，然后可以将其导出，并允许TensorRT在NVIDIA Ampere架构GPU上使用更快的稀疏策略。

TensorRT与NVIDIA的分析工具NVIDIA Nsight™ Systems和NVIDIA深度学习分析器(DLProf)集成在一起。

TensorRT的一个受限子集已获准用于NVIDIA DRIVE®产品。某些API仅标记为在NVIDIA DRIVE中使用，不支持一般使用。

ONNX

模型之间的统一语言–ONNX。

TensorRT从框架中导入训练模型的主要方式是通过ONNX交换格式。TensorRT附带了一个ONNX解析器库，以协助导入模型。在可能的情况下，解析器向后兼容至opset 9；ONNX模型Opset版本转换器可以帮助解决不兼容问题。

GitHub上的版本可能比与TensorRT一起提供的版本支持更新的opset。有关支持的opset和操作符的最新信息，请参阅ONNX-TensorRT操作符支持矩阵。对于TensorRT部署，我们建议导出到最新的可用ONNX opset。

TensorRT的ONNX操作符支持列表可以在here.找到。

PyTorch原生支持ONNX导出 ONNX export. 。对于TensorFlow，推荐的方法是使用tf2onnx。

将模型导出到ONNX后，第一步最好是使用Polygraphy运行常量折叠。这通常可以解决ONNX解析器中的TensorRT转换问题，并简化工作流程。有关详细信息，请参阅此示例 this example.。在某些情况下，可能需要进一步修改ONNX模型，例如，用插件替换子图或用其他操作重新实现不支持的操作。为了简化此过程，您可以使用ONNX-GraphSurgeon ONNX-GraphSurgeon.。

版本控制

TensorRT的版本号（MAJOR.MINOR.PATCH）遵循语义版本控制2.0.0标准，适用于其公共API和库ABI。版本号变化如下：

• 当进行不兼容的API或ABI更改时，MAJOR（主）版本号会变化。
• 当以向后兼容的方式添加功能时，MINOR（次）版本号会变化。
• 当进行向后兼容的错误修复时，PATCH（补丁）版本号会变化。

请注意，语义版本控制并不适用于序列化对象。为了重复使用计划文件和计时缓存，主版本、次版本、补丁版本和构建版本（build versions）的版本号必须匹配（NVIDIA DRIVE OS 6.0开发者指南中详细说明了安全运行时的某些例外）。校准缓存通常可以在主版本内重复使用，但兼容性无法保证。

弃用策略

弃用政策用于通知开发者，某些API和工具已不建议使用。从8.0版本开始，TensorRT采用以下弃用政策：

弃用通知将在NVIDIA TensorRT发行说明中公布。

使用C++ API时：

• API函数将标记为TRT_DEPRECATED_API宏。
• 枚举将标记为TRT_DEPRECATED_ENUM宏。
• 所有其他位置将标记为TRT_DEPRECATED宏。
• 类、函数和对象将有一条声明，记录它们何时被弃用。

使用Python API时，如果使用了已弃用的方法和类，将在运行时发出弃用警告。

TensorRT在弃用后提供12个月的迁移期。

• 在迁移期间，API和工具将继续工作。
• 迁移期结束后，将按照语义版本控制的方式删除API和工具。

对于TensorRT 7.x中专门弃用的任何API和工具，12个月的迁移期从TensorRT 8.0 GA发布日期开始计算。