Ubuntu16.04/CUDA10.0环境安装TensorRT7.0

1. 介绍

TensorRT是一个高性能的深度学习推理（Inference）优化器，可以为深度学习应用提供低延迟、高吞吐率的部署推理。TensorRT可用于对超大规模数据中心、嵌入式平台或自动驾驶平台进行推理加速。TensorRT现已能支持TensorFlow、Caffe、Mxnet、Pytorch等几乎所有的深度学习框架，将TensorRT和NVIDIA的GPU结合起来，能在几乎所有的框架中进行快速和高效的部署推理。

2. 安装

1）进入tensorRT官网界面，点击"Download Now"

2）根据我们的开发环境（Ubuntu16.04/CUDA10.0）选择"TensorRT 7.0.0.11 for Ubuntu 16.04 and CUDA 10.0 TAR package"下载

3）将安装包解压：

tar xzvf TensorRT-${version}.${os}.${arch}-gnu.${cuda}.${cudnn}.tar.gz

4）将lib路径加到系统动态库路径上:

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:<TensorRT-${version}/lib>

例如：export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/lee/Dowloads/TensorRT-7.0.0.11/lib

5）安装 Python TensorRT wheel file

cd TensorRT-${version}/python

根据python版本选择对应的安装指令：
Python 2.7:

pip2 install tensorrt-*-cp27-none-linux_x86_64.whl

Python 3.x:

pip3 install tensorrt-*-cp3x-none-linux_x86_64.whl

如果报错：tensorrt-7.0*.whl is not a supported wheel on this platform，则说明python版本不匹配，需要更换对应的python版本。

注意：指令前加sudo对应的是root下的python版本

6）安装 Python UFF wheel file

（仅TensorFlow需要，略）

7）安装 Python graphsurgeon wheel file

cd TensorRT-${version}/graphsurgeon

Python 2.7:

pip2 install graphsurgeon-0.4.1-py2.py3-none-any.whl

Python 3.x:

pip3 install graphsurgeon-0.4.1-py2.py3-none-any.whl

8）安装pycuda

使用python版tensorRT进行开发，则需要安装pycuda库：

pip3 install 'pycuda>=2019.1.1'

至此就可以正常使用tensorRT了