Ubuntu下TensorRT和torch2trt的安装

一.tensorrt安装教程

1、查看cuda与cudnn的版本

nvcc -V

2、在tensorrt官网上查找对应版本的tensorrt

https://developer.nvidia.com/nvidia-tensorrt-download
下载并解压缩至自己期望的目录中
3、添加环境变量

打开bashrc文件

sudo vim ~/.bashrc

在bashrc文件中添加环境变量
#tensort
export LD_LIBRARY_PATH=/home/cuixubing/cui/software/TensorRT-8.0.1.6/lib:$LD_LIBRARY_PATH
export LIBRARY_PATH=/home/cuixubing/cui/software/TensorRT-8.0.1.6/lib:$LIBRARY_PATH

关闭bashrc然后source
source ~/.bashrc
    

4、安装tensorrt-python插件

进入至tensorrt解压缩的python文件夹，pip安装，注意是否使用虚拟环境，如果使用则需要进入至虚拟环境执行命令

cd /home/cuixubing/cui/software/TensorRT-8.0.1.6/python
pip install tensorrt-8.0.1.6-cp38-none-linux_x86_64.whl

5、安装uff组件

pip install /home/cuixubing/cui/software/TensorRT-8.0.1.6/uff/uff-0.6.9-py2.py3-none-any.whl

注意事项：

在安装之前，一定要确认好自己所使用的CUDA、CUDNN和python的版本，因为这关系着tensorrt的版本。例如作者本人就因为版本问题重复安装了很多次，虚拟环境都搭建好了但是最后发现下载的tensorrt没有对应的python版本。
出现问题：

在使用过程中，如果出现类似问题

error while loading shared libraries: libnvinfer.so.7: cannot open
shared object file: No such file or directory

可能是因为tensorrt不在系统的环境变量中，可以通过把tensorrt/lib的文件cp至系统/lib下

sudo cp /home/***/TensorRT-7.0.0.11.Ubuntu-18.04.x86_64-gnu.cuda-10.0.cudnn7.6/TensorRT-7.0.0.11/lib/* /lib/

二.torch2trt 安装

这里有一个安装包可以直接下载，也可以自己按照下面链接在gitHub下载，下载链接https://download.csdn.net/download/weixin_43653152/86248347

git clone https://github.com/NVIDIA-AI-IOT/torch2trt
cd torch2trt
python setup.py install