Ubuntu16.04 安装 TensorRT

1. 概述

NVIDIA TensorRT 的核心是一个 C++ 库，可以提高 GPU 的推理速度。从 TensorRT 3 开始提供C++ API和Python API，主要用来针对 NVIDIA GPU进行 高性能推理（Inference）加速。现在最新版TensorRT是5.1版本。

2. 下载

TensorRT 有两种安装包，DEB 和 Tar 两种形式，这个需要对应 cuda 当时安装的形式，如果是 cuda 以 deb 形式安装的话，则需要下载 tensorRT deb；如果 cuda 以 runfile 形式安装，则需要下载 tensorRT tar。个人使用的是 tar 的形式。

1. 访问：https：//developer.nvidia.com/tensorrt
2. 单击Download now（需要注册，直接微信扫码啦）
3. 选择TensorRT版本    
4. 选中复选框以同意许可条款。
5. 单击要安装的包，开始下载

3. 安装 TensorRT

目前 TensorRT 仅支持到 python 3.5 ，所以需要 anconda 创建一个 python 3.5 的虚拟环境。额，话说清华的源停了，conda config --remove-key channels  解除吧，江湖再见。

conda create -n tensorrt python=3.5

下载的 TensorRT 放在自己的路径下，解压下载的tar文件：

tar -xzvf TensorRT-xxx.tar.gz

添加环境变量：

gedit ~/.bashrc

# 将下面的一句话添加到文档末尾
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/TensorRT-5.0.2.6/lib # 自己解压的路径

source ~/.bashrc

激活 tensorrt 虚拟环境，开始安装

进入解压后的 TensorRT 文件夹，其中包含如下：

(1) 安装 Python 的 TensorRT 包

cd ./python    # 切换到 python 文件夹
pip install tensorrt-5.0.2.6-py2.py3-none-any.whl    # conda 虚拟环境中 pip 默认是 pip3 安装

测试 TensorRT 是否安装成功

(2) 安装 uff 包

cd ../uff    # 切换到 uff 文件夹
pip install uff-0.5.5-py2.py3-none-any.whl

测试：

which convert-to-uff  # 会输出安装路径

（3）安装 graphsurgen 包

cd ../graphsurgeon     # 切换到 graphsurgeon 文件夹
pip install graphsurgeon-0.3.2-py2.py3-none-any.whl

4. 验证

拷贝lenet5.uff到python相关目录进行验证：

$ sudo cp ./data/mnist/lenet5.uff ./python/data/mnist/lenet5.uff
$ cd ./samples/sampleMNIST
$ make clean
$ make
$ cd ../bin（转到bin目录下面，make后的可执行文件在此目录下）
$ ./sample_mnist

5. 参考文档

官方：https://docs.nvidia.com/deeplearning/sdk/tensorrt-install-guide/index.html#overview

博客：https://arleyzhang.github.io/articles/7f4b25ce/

https://blog.csdn.net/wgshun616/article/details/81019601