查询服务器的相关信息:
查看cuda版本:cat /usr/local/cuda/version.txt
查看cudnn的版本
去nvidia官网找对应的tensorrt版本:https://developer.nvidia.com/nvidia-tensorrt-8x-download
两种方式安装:
一.deb的版本
1.下载deb包去官网
os="ubuntu1x04"
tag="cudax.x-trt7.x.x.x-ga-yyyymmdd"
sudo dpkg -i nv-tensorrt-repo-${os}-${tag}_1-1_amd64.deb
sudo apt-key add /var/nv-tensorrt-repo-${tag}/7fa2af80.pub
sudo apt-get update
sudo apt-get install tensorrt cuda-nvrtc-x-y
如果使用 Python 3.x:
sudo apt-get install python3-libnvinfer-dev
2.将安装以下附加软件包:
python3-libnvinfer
3.如果您打算将TensorRT与TensorFlow一起使用:
sudo apt-get install uff-converter-tf
这 graphsurgeon-tf包也将使用上述命令安装。
4.验证安装
dpkg -l | grep TensorRT``
或者进入python环境
import tensor
print(tensorrt.__version__)
二.下载tar包
根据你的cuda,cudnn环境下载对应的tar包
我下载的TensorRT-8.0.1.6.Linux.x86_64-gnu.cuda-11.3.cudnn8.2.tar.gz
1.解压tar
tar -xzvf TensorRT-8.0.1.6.Linux.x86_64-gnu.cuda-11.3.cudnn8.2.tar.gz
2.添加绝对路径
vim ~/.bashrc
export LD_LIBRARY_PATH=/home/ubuntu/tensorrt8/TensorRT-8.0.1.6/lib:$LD_LIBRARY_PATH
source ~/.bashrc
3.安装tensorrt
cd python
pip install tensorrt-8.0.1.6-cp38-none-linux_x86_64.whl
4.安装uff
cd uff/
pip install uff-0.6.9-py2.py3-none-any.whl
# 验证uff
which convert-to-uff
5.安装graphsurgeon
cd graphsurgeon
pip install graphsurgeon-0.4.5-py2.py3-none-any.whl
扩展:
TensorRT报错的一百种姿势:tensorrt安装报错