1. 介绍
TensorRT是一个高性能的深度学习推理(Inference)优化器,可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT现已能支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架,将TensorRT和NVIDIA的GPU结合起来,能在几乎所有的框架中进行快速和高效的部署推理。
2. 安装
1)进入tensorRT官网界面,点击"Download Now"
2)根据我们的开发环境(Ubuntu16.04/CUDA10.0)选择"TensorRT 7.0.0.11 for Ubuntu 16.04 and CUDA 10.0 TAR package"下载
3)将安装包解压:
tar xzvf TensorRT-${version}.${os}.${arch}-gnu.${cuda}.${cudnn}.tar.gz
4)将lib路径加到系统动态库路径上:
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:<TensorRT-${version}/lib>
例如:export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/lee/Dowloads/TensorRT-7.0.0.11/lib
5)安装 Python TensorRT wheel file
cd TensorRT-${version}/python
根据python版本选择对应的安装指令:
Python 2.7:
pip2 install tensorrt-*-cp27-none-linux_x86_64.whl
Python 3.x:
pip3 install tensorrt-*-cp3x-none-linux_x86_64.whl
如果报错:tensorrt-7.0*.whl is not a supported wheel on this platform
,则说明python版本不匹配,需要更换对应的python版本。
注意:指令前加sudo对应的是root下的python版本
6)安装 Python UFF wheel file
(仅TensorFlow需要,略)
7)安装 Python graphsurgeon wheel file
cd TensorRT-${version}/graphsurgeon
Python 2.7:
pip2 install graphsurgeon-0.4.1-py2.py3-none-any.whl
Python 3.x:
pip3 install graphsurgeon-0.4.1-py2.py3-none-any.whl
8)安装pycuda
使用python版tensorRT进行开发,则需要安装pycuda库:
pip3 install 'pycuda>=2019.1.1'
至此就可以正常使用tensorRT了