ubuntu下TensorRT 7/8环境配置及安装

最新推荐文章于 2024-04-24 16:28:49 发布

白羊007

最新推荐文章于 2024-04-24 16:28:49 发布

阅读量1.5k

点赞数 2

分类专栏：深度学习笔记文章标签： python 深度学习

本文链接：https://blog.csdn.net/qq_42167046/article/details/120452897

版权

5 篇文章 0 订阅

订阅专栏

2 篇文章 1 订阅

订阅专栏

为了部署YOLO V5的模型，部署了两次TensorRT，每次都踩了不少坑，决定把完整的过程及踩过的坑记录下来。

一些需要提前强调的点：

windows下不支持tensorrt的python API。
（ModuleNotFoundError: No module named ‘tensorrt‘_脆皮茄条的博客-CSDN博客）
所选择的TensorRT版本一定要与自己系统中的CUDA相对应（目前最新的tensorrt7.x是支持到了11.2，但不建议选择11.2，之前尝试过，无法配置成功；因此我选择了安装CUDA 11.1；另外，tensorrt8.0支持到了cuda11.3），总之，我尝试过的可行的方案是：
1. cuda11.1配tensorrt 7.x；
2. cuda11.3配tensorrt 8.x；
仅支持以deb方式安装的CUDA（以runfile方式安装的CUDA会遗漏一些组件，会出现如下的报错）。还看到一种说法是从某个cuda版本开始后，.run安装会把libcublas.so这些东西装在另一个文件目录下，所以需要做一个软链接，但我没进行过尝试。
以deb方式安装cuda会强制卸载系统中已有的显卡驱动，安装cuda自带的驱动，所以有些同学可能会遇到cuda自带的显卡驱动版本低于显卡需要的驱动版本（导致开机进不了桌面且nvidia-smi命令无法查看信息）。只需在cuda安装完成后（不要重启）卸载附带安装的驱动，用命令：sudo apt-get remove nvidia-*，再用sudo apt install nvidia-xxx（这个xxx选择显卡适配的驱动板本，建议选择整十倍数的版本）

下面正式开始安装步骤（以TensorRT 7.2.3.4和CUDA11.1为例）。

这个很简单，唯一要注意的是要用deb方式安装，我参考的教程：ubuntu18.04.4 deb版本 cuda 卸载_夏华东的博客的博客-CSDN博客

2、选择对应Ubuntu和CUDA版本的TensorRT，选择DEB local repo package下载（tar版本也下载一下，第五步要用，是为了安装python依赖）。

3、根据以下命令进行安装，记得把命令中的TensorRT文件名替换成自己的TensorRT。

sudo dpkg -i nv-tensorrt-repo-ubuntu1804-cuda11.1-trt7.2.3.4-ga-20210226_1-1_amd64.deb
sudo apt update
sudo apt install tensorrt

4、整个过程如果没有出现任何异常报错信息的话，就算安装完成了。

5、如果我们想在python当中import tensorrt，可能有的人会直接pip3 install tensorrt，并且表面上看上去也能安装成功，但实际运行的时候仍然会报错：no module named 'tensorrt'，这是因为我们安装的姿势不正确，正确姿势如下：

（1）解压TensorRT-7.2.3.4.Ubuntu-18.04.x86_64-gnu.cuda-11.1.cudnn8.1.tar.gz

（2）cd 到python目录里

（3）pip3 install tensorrt-7.2.3.4-cpxx-xxxx.whl（选择适合自己python版本的）

不出意外应该能安装成功。

这里有一个转换好的trt模型，需要注意./utils/nms文件夹下的链接设置。

链接：https://pan.baidu.com/s/1jHgOJkCM6MAFasSsEF0tKg
提取码：wwr1

tensorrt转换来的trt模型是依赖于显卡(换了显卡也不行)、驱动和对应版本的tensorrt的，任一改变都导致模型不能使用，要重新生成。

关注