TensorRT详解

一个深度学习项目从研发到落地，需要经历两个阶段：

1、模型的生成（包括模型训练、验证、测试等步骤，主要在线下进行）

2、模型的部署（主要在线上进行，可以部署到各种芯片上，许多场景对速度要求很高，比如自动驾驶场景）

TensorRT就是为此而生（线上部署）。

TensorRT是英伟达针对GPU所做的加速包，TensorRT主要做了这么两件事情，来提升模型的运行速度。

（1） TensorRT支持INT8和FP16的计算，模型在训练时通常使用FP32数据类型，而TensorRT在推理阶段不需要如此高的精度，就可以达到加速推断的目的。

（2）TensorRT会对网络模型结构进行重构，简单来讲：英伟达公司对自家生产的GPU产品的特性做了优化，将网络结构中重复的结构合并起来，达到加速的效果。