TensorRT是一个高性能的深度学习推理(Inference)优化器,可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架,将TensorRT和NVIDIA的GPU结合起来,能在几乎所有的框架中进行快速和高效的部署推理。
TensorRT 在运行时,加载一个已经训练好的神经网络,创建一个经过内部高度优化的引擎(engine),来进行快速计算。TensorRT 同时提供 C++ 和 Python API 接口。TensorRT 同时支持 Windows/Ubuntu/iOS 系统,本教程基于Ubuntu18.04 进行讲解。
2.安装
2.1 下载安装
本教程安装版本:TensorRT-7.0.0.11.Ubuntu-18.04.x86_64-gnu.cuda-10.0.cudnn7.6.tar,下载链接
相应的依赖环境:
-
CUDA 10.0
-
CUDNN 7.6.5
-
Python 2 / Python 3
2.2 配置环境变量
将下载好的压缩包,放在一个路径下,比如在我的电脑:/home/TensorRT-7
。然后将 TensorRT 的 lib
文件路径加入系统环境变量:</