安装环境
Anaconda3 / Python 3.7
Tensorflow-gpu 2.4
TensorRT 7.2.16
CUDA 10.2
CUDNN 8.0.4
VS 2019
简介
TensorRT是一个高性能的深度学习推理(Inference)优化器,可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT现已能支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架,将TensorRT和NVIDIA的GPU结合起来,能在几乎所有的框架中进行快速和高效的部署推理。 详细信息各位大佬已经写的很清楚了:
高性能深度学习支持引擎实战——TensorRT
安装过程
1、 目前TensorRT的Windows zip包不提供Python支持。需要自行安装PyCUDA配合使用,在Anaconda下使用pip install pycuda
进行安装。[1]
2、根据自己的CUDA与cudnn版本选择合适的TensorRT版本:
英伟达TensorRT 下载地址:下载链接
基于我的个人版本选择了TensorRT 7.2.1 for Windows10 and CUDA 10.2 ZIP package 文件。