TensorRT介绍及Windows/Ubuntu下的安装

利用TAR方式安装最方便

一、TensorRT简介

TensorRT：

• 用于高效实现已训练好的深度学习模型的推理过程的SDK。
• 内含推理优化器和运行时环境。
• 使DL模型能以更高吞吐量和更低的延迟运行。
• 有C++和Python的API，完全等价可以混用。

链接：

https://docs.nvidia.com/deeplearning/tensorrt/developer-guide/index.html (TensorRT文档)

https://docs.nvidia.com/deeplearning/tensorrt/api/c_api (C++ API文档)

https://docs.nvidia.com/deeplearning/tensorrt/api/python_api (python API文档)

https://developer.nvidia.com/nvidia-tensorrt-download (TensorRT下载)

https://github.com/NVIDIA/trt-samples-for-hackathon-cn/tree/master/cookbook (代码)

二、TensorRT下载

1. 下载地址：https://developer.nvidia.com/nvidia-tensorrt-download

   

可以根据需要选择版本。

2. 具有多个小版本
   

EA version stands for early access (It is before actual release).

GA stands for general availability. GA is stable version and completely tested.

点击某一个版本后，可以看到各种平台的安装包，这里要注意两点

• 平台
• CUDA版本（可以通过nvcc --version查看）

三、Windows下安装

1. 下载正确版本，并解压。
2. 将文件包下的lib添加到系统环境变量中。
3. 分别安装文件包下python、graphsurgeon、onnx_graphsurgeon和uff目录下的whl文件。
   • python.exe -m pip install xxx.whl
   • python文件的下安装文件，要选择正确的python版本。

onnx用于pytorch，uff用于tensorflow

四、Ubuntu安装

4.1 下载及安装

1. 下载TensorRT的TAR包（https://developer.nvidia.com/nvidia-tensorrt-8x-download）

2. 解压TAR包：tar xvf TensorRT-7.2.1.6.Ubuntu-18.04.x86_64-gnu.cuda-11.1.cudnn8.0.tar.gz

3. cd TensorRT-7.2.1.6

4. 继续进入python文件夹下，选择合适的版本进行安装。（pip install tensorrt-7.2.1.6-cp37-none-linux_x86_64.whl）

   

5. 复制TensorRT-7.2.1.6下面的lib到/usr/lib/tensorrt下。

   mkdir -p /usr/lib/tensorrt
   cp -a lib/*  /usr/lib/tensorrt
   

6. 打开/etc/profile文件，sudo vim /etc/profile

   # 在最后一行写下
   export LD_LIBRARY_PATH="/usr/lib/tensorrt:${LD_LIBRARY_PATH}"
   

7. source /etc/profile

4.2 排错

按照上面的步骤安装完成后，执行

import tensorrt as trt

报错：libnvinfer.so.8: cannot open shared object file: No such file or directory

说明一下错误发生的情况，使用的anaconda虚拟环境导入tensorrt时报错。

解决方法：将TensorRT-7.2.1.6里面的lib文件中的所有文件，复制到cuda系统路径/targets/x86_64-linux/lib中即可解决。