一、查看cuda、cudnn版本
操作链接:链接
二、选择对应的tensorrt版本,这里选择tar.gz格式的文件,推荐使用;deb安装出现问题;
我的cuda版本11.2;cudnn版本8.2,选择tensorrt 8.0版本下载安装
下载链接:https://developer.nvidia.com/nvidia-tensorrt-8x-download
如需下载7版本,链接为:
下载链接:https://developer.nvidia.com/nvidia-tensorrt-7x-download
二、将压缩包解压
tar -xzvf TensorRT-8.0.0.3.Linux.x86_64-gnu.cuda-11.3.cudnn8.2.tar.gz
cd TensorRT-8.0.0.3
配置环境
export LD_LIBRARY_PATH=/home/project/package/tensort/TensorRT-8.0.0.3/lib:$LD_LIBRARY_PATH
激活环境
source ~/.bashrc
三、打开python env
cd TensorRT-8.0.0.3/python
选择对应版本安装
python3.6 对应 cp36
pip install tensorrt-8.0.0.3-cp36-none-linux_x86_64.whl
验证安装
import tensorrt
tensorrt.__version__
安装成功;
为了后续模型转换方便,还可以安装torch2trt包
torch2trt:
https://github.com/NVIDIA-AI-IOT/torch2trt
安装参考指令:
git clone https://github.com/NVIDIA-AI-IOT/torch2trt
cd torch2trt
sudo python setup.py install --plugins