TensorRT笔记(一)TensorRT简介

摘要

本TensorRT 7.2.2开发人员指南演示了如何使用C ++和Python API来实现最常见的深度学习层。它显示了如何采用深度学习框架构建的现有模型，并使用该模型通过提供的解析器构建TensorRT引擎。开发人员指南还提供了针对常见用户任务的分步说明，例如创建TensorRT网络定义，调用TensorRT构建器，序列化和反序列化以及如何向引擎提供数据和执行推理；同时使用C ++或Python API。
有关先前发布的TensorRT开发人员文档，请参见 TensorRT Archives.

1.什么是TensorRT？

NVIDIA的核心® TensorRT™是有助于在NVIDIA图形处理单元（GPU）的高性能推理一个C ++库。它旨在与TensorFlow，Caffe，PyTorch，MXNet等培训框架以互补的方式工作。它专门致力于在GPU上快速有效地运行已经受过训练的网络，以生成结果（过程在各个地方都称为评分，检测，回归或推断）。

一些培训框架（例如TensorFlow）已经集成了TensorRT，因此可以将其用于加速框架内的推理。另外， TensorRT可以用作用户应用程序中的库。它包括用于从Caffe，ONNX或TensorFlow导入现有模型的解析器，以及用于以编程方式构建模型的C ++和Python API。