一,概述
TensorRT
是 NVIDIA 官方推出的基于 CUDA
和 cudnn
的高性能深度学习推理加速引擎,能够使深度学习模型在 GPU
上进行低延迟、高吞吐量的部署。采用 C++
开发,并提供了 C++
和 Python
的 API 接口,支持 TensorFlow、Pytorch、Caffe、Mxnet 等深度学习框架,其中 Mxnet
、Pytorch
的支持需要先转换为中间模型 ONNX
格式。截止到 2021.4.21 日, TensorRT
最新版本为 v7.2.3.4
。
延迟和吞吐量的一般解释:
- 延迟 (
Latency
): 指执行一个操作所花的时间。 - 吞吐量 (
Throughput
): 在单位时间内,可执行的运算次数。
二,TensorRT 工作流程
在描述 TensorRT
的优化原理之前,需要先了解 TensorRT
的工作流程。首先输入一个训练好的 F