【Ubuntu版】TensorRT安装教程（tar包方式）

已于 2022-10-28 23:26:51 修改
阅读量1.5w 收藏 138
点赞数 18
分类专栏： 编程工具 文章标签： ubuntu 深度学习 tensorRT
于 2021-09-16 08:44:34 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37605642/article/details/120095114
版权

一、参考资料

TensorRT介绍、安装和测试
Ubuntu16.04 安装 TensorRT

二、系统环境

Environment
Operating System + Version: Ubuntu + 16.04
TensorRT Version: 7.1.3.4
GPU Type: GeForce GTX1650,4GB
Nvidia Driver Version: 470.63.01
CUDA Version: 11.0.207
CUDNN Version: 8.0.5
TensorRT：7.1.3.4
Python Version (if applicable): 3.7.3
PyTorch Version (if applicable): 1.3.0+cu100
torchvision：0.4.1+cu100
Anaconda Version：4.10.3
gcc：7.5.0
g++：7.5.0

三、准备工作

TensorRT下载
TensorRT文档
TensorRT 7.1.3.4 TAR压缩包下载
TensorRT 7.1.3.4文档
TensorRT 7.1.3.4安装文档

四、重要说明

  1. 先确定需要安装的TensorRT版本，再确定对应的CUDA和cuDNN版本；
  2. 如果用deb方式安装CUDA、cuDNN，则TensorRT也需要deb方式安装，否则报错；
  3. 如果CUDA已经安装好了，找到对应版本的TensorRT版本安装即可；
  4. 本文采用 Tar File Installation方式安装；
  5. 本文使用Anaconda虚拟环境；

五、关键步骤

  1. 安装前的准备：
1. 安装CUDA 11.0，安装cuDNN 8.0.5；
参考资料
[Ubuntu下CUDA的安装及配置(run方式)](https://blog.csdn.net/m0_37605642/article/details/114059682)
[Ubuntu下CUDA的卸载以及安装(deb方式和run方式)](https://blog.csdn.net/m0_37605642/article/details/119637836)

2. 安装python 3.7.3；
  1. 下载 TensorRT 7.1.3.4 TAR压缩包，解压到安装目录：
tar xzvf TensorRT-7.1.3.4.Ubuntu-16.04.x86_64-gnu.cuda-11.0.cudnn8.0.tar.gz
  1. 添加 TensorRT lib 到环境变量：
gedit ~/.bashrc

# 添加
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/yichao/360Downloads/TensorRT-7.1.3.4/lib

# 更新
source ~/.bashrc
  1. 安装python API
cd /home/yichao/360Downloads/TensorRT-7.1.3.4/python

# 根据版本安装，博主的是python3.7版本，选择cp3.7
pip install tensorrt-7.1.3.4-cp37-none-linux_x86_64.whl
  1. 安装 Python UFF 包，支持tensorflow模型转化
cd /home/yichao/360Downloads/TensorRT-7.1.3.4/uff

pip install uff-0.6.9-py2.py3-none-any.whl

# 测试 Python UFF 是否安装成功
which convert-to-uff

# 输出：
/home/yichao/miniconda3/envs/tensorRT-tensorflow/bin/convert-to-uff
  1. 安装 graphsurgeon，支持自定义结构
cd /home/yichao/360Downloads/TensorRT-7.1.3.4/graphsurgeon
pip install graphsurgeon-0.4.5-py2.py3-none-any.whl
  1. 卸载 tensorRT python API
pip uninstall tensorrt

pip uninstall uff

pip uninstall graphsurgeon

六、测试是否安装成功

1. 查看tensorRT python api 版本

python
import tensorrt as trt
print(trt.__version__)

如果安装成功，输出：
7.1.3.4

2. 测试 tensorRT python API

# 测试 Python API 的demo, 简单的手写字符识别模型lenet，采用tensorflow网络训练
# 1. 安装tensorflow，版本对齐 
# [Tensorflow安装教程](https://blog.csdn.net/m0_37605642/article/details/119720949)

pip install tensorflow-gpu==2.4.0

# 2 训练模型
cd /home/yichao/360Downloads/TensorRT-7.1.3.4/samples/python/end_to_end_tensorflow_mnist

python model.py

# 2.1 训练完，在models目录下，生成lenet5.pb文件

# 3. 模型转换
convert-to-uff lenet5.pb

# 3.1 将pb文件转换为uff文件，打印出了模型转换的一些信息，生成了"lenet5.uff"文件

# 4. 测试
python sample.py

3. 测试tensorRT C++ API

  • 下载pgm文件
python /home/yichao/360Downloads/TensorRT-7.1.3.4/data/mnist/download_pgms.py
  • make编译
cd /home/yichao/360Downloads/TensorRT-7.1.3.4
sudo cp ./data/mnist/lenet5.uff ./python/data/mnist/lenet5.uff
cd ./samples/sampleMNIST
make clean
make
cd ../../bin（转到bin目录下面，make后的可执行文件在此目录下）
./sample_mnist
  • 测试成功
&&&& RUNNING TensorRT.sample_mnist # ./sample_mnist
[09/07/2021-13:45:35] [I] Building and running a GPU inference engine for MNIST
[09/07/2021-13:45:46] [I] [TRT] Detected 1 inputs and 1 output network tensors.
[09/07/2021-13:45:46] [I] Input:
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@%%+      -@@@@@@@
@@@@@@@@@%=..        -@@@@@@
@@@@@@@@@:            #@@@@@
@@@@@@@@@+   ====:    #@@@@@
@@@@@@@@@@%%%@@@@@.  -@@@@@@
@@@@@@@@@@@@@@@@@*   =@@@@@@
@@@@@@@@@@@@@@@@*:   @@@@@@@
@@@@@@@@@@@@@@*.    .@@@@@@@
@@@@@@@@@%+:::     +%@@@@@@@
@@@@@@@@%.        -@@@@@@@@@
@@@@@@@@%.         *@@@@@@@@
@@@@@@@@@%+#%%%%=  *@@@@@@@@
@@@@@@@@@@@@@@@@@  *@@@@@@@@
@@@@@@@@@@@@@@@@*  *@@@@@@@@
@@@@@@@*@@@@@@@*   *@@@@@@@@
@@@@@#: %@@@@@*    #@@@@@@@@
@@@@@.  =====:   :*@@@@@@@@@
@@@@@.          -@@@@@@@@@@@
@@@@@#-     ..=%@@@@@@@@@@@@
@@@@@@@+  -+%@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@

[09/07/2021-13:45:46] [I] Output:
0: 
1: 
2: 
3: **********
4: 
5: 
6: 
7: 
8: 
9: 

&&&& PASSED TensorRT.sample_mnist # ./sample_mnist

七、可能存在的问题

导包错误，找不到文件

./sample_mnist: error while loading shared libraries: libcublas.so.10.0: cannot open shared object file: No such file or directory

[ImportError: libnvinfer.so.6/libcublas.so.10.0: cannot open shared object file:问题解决](https://blog.csdn.net/Q1u1NG/article/details/109336403)

解决办法：
# 修改配置
sudo gedit /etc/ld.so.conf

# 添加下面两行：
# 添加cuda路径
/usr/local/cuda/lib64

# 添加TensorRT lib 路径
/home/yichao/360Downloads/TensorRT-7.1.3.4/lib

# 更新配置
sudo ldconfig

找不到 libnvinfer.so.8

from .tensorrt import *
ImportError: libnvinfer.so.8: cannot open shared object file: No such file or directory

错误原因：
找不到 tensorRT lib 路径

解决办法：
# 修改配置
sudo gedit /etc/ld.so.conf

# 添加 TensorRT lib 路径
/home/yichao/360Downloads/TensorRT-8.0.1.6/lib

# 更新配置
sudo ldconfig

软链接错误

sudo ldconfig

/sbin/ldconfig.real: /usr/local/cuda-11.0/targets/x86_64-linux/lib/libcudnn.so.8 不是符号连接

/sbin/ldconfig.real: /usr/local/cuda-11.0/targets/x86_64-linux/lib/libcudnn_adv_infer.so.8 不是符号连接

/sbin/ldconfig.real: /usr/local/cuda-11.0/targets/x86_64-linux/lib/libcudnn_adv_train.so.8 不是符号连接

/sbin/ldconfig.real: /usr/local/cuda-11.0/targets/x86_64-linux/lib/libcudnn_cnn_train.so.8 不是符号连接

/sbin/ldconfig.real: /usr/local/cuda-11.0/targets/x86_64-linux/lib/libcudnn_ops_train.so.8 不是符号连接

/sbin/ldconfig.real: /usr/local/cuda-11.0/targets/x86_64-linux/lib/libcudnn_ops_infer.so.8 不是符号连接

/sbin/ldconfig.real: /usr/local/cuda-11.0/targets/x86_64-linux/lib/libcudnn_cnn_infer.so.8 不是符号连接

解决办法：
libcudnn.so.8 是一个文件，它本应是一个软连接。于是创建软接连

# 解决办法
sudo ln -sf /usr/local/cuda-11.0/targets/x86_64-linux/lib/libcudnn.so.8.0.5 /usr/local/cuda-11.0/targets/x86_64-linux/lib/libcudnn.so.8

sudo ln -sf /usr/local/cuda-11.0/targets/x86_64-linux/lib/libcudnn_adv_infer.so.8.0.5 /usr/local/cuda-11.0/targets/x86_64-linux/lib/libcudnn_adv_infer.so.8

sudo ln -sf /usr/local/cuda-11.0/targets/x86_64-linux/lib/libcudnn_adv_train.so.8.0.5 /usr/local/cuda-11.0/targets/x86_64-linux/lib/libcudnn_adv_train.so.8

sudo ln -sf /usr/local/cuda-11.0/targets/x86_64-linux/lib/libcudnn_cnn_train.so.8.0.5 /usr/local/cuda-11.0/targets/x86_64-linux/lib/libcudnn_cnn_train.so.8

sudo ln -sf /usr/local/cuda-11.0/targets/x86_64-linux/lib/libcudnn_ops_train.so.8.0.5 /usr/local/cuda-11.0/targets/x86_64-linux/lib/libcudnn_ops_train.so.8

sudo ln -sf /usr/local/cuda-11.0/targets/x86_64-linux/lib/libcudnn_ops_infer.so.8.0.5 /usr/local/cuda-11.0/targets/x86_64-linux/lib/libcudnn_ops_infer.so.8

sudo ln -sf /usr/local/cuda-11.0/targets/x86_64-linux/lib/libcudnn_cnn_infer.so.8.0.5 /usr/local/cuda-11.0/targets/x86_64-linux/lib/libcudnn_cnn_infer.so.8

sampleMNist测试失败

&&&& RUNNING TensorRT.sample_mnist # ./sample_mnist
[09/07/2021-12:03:21] [I] Building and running a GPU inference engine for MNIST
[09/07/2021-12:03:32] [I] [TRT] Detected 1 inputs and 1 output network tensors.
Could not find 0.pgm in data directories:
	data/mnist/
	data/samples/mnist/
&&&& FAILED

错误原因：
没有pgm文件

解决办法：
下载pgm文件

python /home/yichao/360Downloads/TensorRT-7.1.3.4/data/mnist/download_pgms.py

安装CUDA的方式和安装TensorRT的方式不同

参考资料： 乌班图 18.04 tensorRT安装踩坑
在这里插入图片描述

下列软件包有未满足的依赖关系：
 tensorrt : 依赖: libnvinfer7 (= 7.0.0-1+cuda10.0) 但是它将不会被安装
            依赖: libnvinfer-plugin7 (= 7.0.0-1+cuda10.0) 但是它将不会被安装
            依赖: libnvparsers7 (= 7.0.0-1+cuda10.0) 但是它将不会被安装
            依赖: libnvonnxparsers7 (= 7.0.0-1+cuda10.0) 但是它将不会被安装
            依赖: libnvinfer-bin (= 7.0.0-1+cuda10.0) 但是它将不会被安装
            依赖: libnvinfer-dev (= 7.0.0-1+cuda10.0) 但是它将不会被安装
            依赖: libnvinfer-plugin-dev (= 7.0.0-1+cuda10.0) 但是它将不会被安装
            依赖: libnvparsers-dev (= 7.0.0-1+cuda10.0) 但是它将不会被安装
            依赖: libnvonnxparsers-dev (= 7.0.0-1+cuda10.0) 但是它将不会被安装
            依赖: libnvinfer-samples (= 7.0.0-1+cuda10.0) 但是它将不会被安装
            依赖: libnvinfer-doc (= 7.0.0-1+cuda10.0) 但是它将不会被安装
E: 无法修正错误，因为您要求某些软件包保持现状，就是它们破坏了软件包间的依赖关系。

错误原因：
如果安装tensorRT采用deb包安装，那么CUDA也必须采用deb包安装。

解决办法：
卸载CUDA，重新安装CUDA
花花少年
关注
  • 18
    点赞
  • 踩
  • 138
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
专栏目录
TensorRT部署--Linux(Ubuntu)环境配置
小豆包的博客
01-22 2578
TensorRT部署-Linux环境配置。
Ubuntu安装TensorRT
AI研习星球
12-11 1177
在在解压后TensorRT的文件夹里有个uff文件和graphsurgeon文件夹，进入后。在解压后TensorRT的文件夹里有个python文件，进入后。要注意，TRT和CUDA和CUDNN是有版本对应关系的。即可获取安装包下载。
Ubuntu TensorRT安装
最新发布
ytusdc的博客
07-03 1179
到graphsurgeon目录下,安装graphsurgeon，
ubuntu下tensorrt环境配置
整理ing
11-12 1404
ubuntu下tensorrt安装，适用ubuntu18.04 ubuntu20.04 ubuntu22.04
Ubuntu18.04、CUDA11.1安装TensorRT
qq_44442727的博客
12-21 2340
最近想试试推理加速，因为跑的预测有点慢，一开始是打算从数据处理上实现，采用并行数据处理，但是这个有所难度，而且有几张显卡可用，就想着怎么把显卡利用上。而且了解到推理加速后，就先尝试一下看看效果，这里尝试的是tensorrt，暂记一下设置过程。首先是tensorrt的安装，有很多教程，但是版本不一定匹配，这里大家可以找到根据自己的软件版本进行安装的方法。
TensorRT安装
12-21
TensorRT安装以及相关配置 看到很多tensorrt安装教程有一些问题,所以我安装完后写这篇记录并分享一下. 1.下载tar包 TensorRT官方API提供了四种安装方式，建议下载tar包进行安装。下载地址https://developer.nvidia.com/tensorrt 2. 安装TensorRT 2.1 解压 tar xzvf TensorRT-6.0.1.5..-gnu.cuda-10.1.cudnn7.x.tar.gz 2.2 添加环境变量 $ vim ~/.bashrc # 打开环境变量文件 # 将下面三个环境变量写入环境变量文件并保存 export LD_LIBR
ubuntu安装tensorrt
qwj的博客
08-18 4880
ubuntu安装tensorrt
Ubuntu TensorRT安装（python API）
qq_39577547的博客
05-08 1924
配置TensorRT实现深度学习模型的加速
Ubuntu18.04 tensorrt 安装指导
qq_57202949的博客
06-28 968
yolov5s6.2模型的轻量化部署实战，pt转onnx转engine
Ubuntu20.04-linx-显卡安装，cuda安装，cudnn安装，TensorRT安装教程
qq_64997742的博客
02-27 1599
目录 1.卸载旧驱动2. 禁用nouveau驱动3. 安装最后出现nvidia-drm错误1）开启了UEFI secure boot，导致第三方模块没有被合法签名，所以无法校验成功并加载2）其他安装，导致系统在配置文件中禁用了nvidia-drm 模块不起作用4. 安装Nvidia驱动5.安装显卡驱动6. 我这里选择recommended的驱动版本进行安装：7. 安装CUDA1. 在官网（CUDA Toolkit Archive | NVIDIA Developer）下载cuda，版本根据自己需求选择即可，
tensorrt安装教程
11-19
TensorRT官方API提供了四种安装方式，建议下载tar包进行安装。下载地址https://developer.nvidia.com/tensorrt 2. 安装依赖 ```shell sudo apt-get update sudo apt-get install -y python-dev python-pip python3-...
TensorRT 7.2.2 下载、安装、使用（ubuntu 18.04, cuda 10.2, cudnn 8.0.5）
白小心0225的博客
12-25 8178
Tensro RT 7.2.2 安装使用一、下载安装1.下载(1) 官网下载(2) 交大云盘下载2.安装二、运行例1：图像分类模型转换和inference例2：Pytorch平台Mnist数据集训练，转换和Inference读源码：model.pysample.py 一、下载安装 tensorrt 官网： https://developer.nvidia.com/tensorrt 官网安装教程：https://docs.nvidia.com/deeplearning/tensorrt/install-gui
TensorRT-安装-使用
吴建明wujianming_110117
05-28 1043
TensorRT-安装-使用 一．安装 这里 是英伟达提供的安装指导，如果有仔细认真看官方指导，基本上按照官方的指导肯定能安装成功。 问题是肯定有很多人不愿意认真看英文指导，比如说我就是，我看那个指导都是直接找到命令行所在，直接敲命令，然后就出了很多问题，然后搜索好长时间，最后才发现，原来官方install guide里是有说明的。 这里使用的是 deb 包安装的方式，以下是安装过程，我是cuda 8.0 ，cuda9.0也是类似的。 进行下面三步时最好先将后面记录的遇到的问题仔细看看，然后回过头来按照 一
ubuntu tensorrt 环境安装
qq_16377055的博客
07-10 1388
进入至tensorrt解压缩的python文件夹，pip安装，注意是否使用虚拟环境，如果使用则需要进入至虚拟环境执行命令。这里有一个安装包可以直接下载，也可以自己按照下面链接在gitHub下载，下载链接。可以通过把tensorrt/lib的文件cp至系统/lib下。可能是因为tensorrt不在系统的环境变量中，4.安装tensorrt-python插件。1.查看cuda和cudnn版本。2.下载对应的tensorrt。在使用过程中，如果出现类似问题。torch2torrt安装。解压文件到需要的目录下。
Ubuntu 安装Tensorrt
VulcanYJX的博客
07-15 914
【丁丁历险记】全篇索引​​​​​​ 本节教大家配置在Ubuntu中安装并测试Tensorrt。由于网上各种水文，我就不讲官方文档里的那些介绍了。直接上干货。 配置Tensorrt之前需要保证主机中已经安装好了NV的显卡驱动、Cuda、Cudnn（特别注意：这四个东西是必须对应版本的，这是一套东西）请在官网自行装好，个人建议安装.run文件的cuda版本，手动安装cudnn。主要是知道文件去了哪心理踏实。 【官方cuda链接】；【官方cudnn链接】；【nvidia显卡驱动链接】；【官方tensorrt链
TensorRT安装及使用教程（ubuntu系统部署yolov7）
m0_60657960的博客
12-03 3960
1 什么是TensorRT一般的深度学习项目，训练时为了加快速度，会使用多 GPU 分布式训练。但在部署推理时，为了降低成本，往往使用单个 GPU 机器甚至嵌入式平台（比如 NVIDIA Jetson）进行部署，部署端也要有与训练时相同的深度学习环境，如 caffe，TensorFlow 等。由于训练的网络模型可能会很大（比如，inception，resnet 等），参数很多，而且部署端的机器性能存在差异，就会导致推理速度慢，延迟高。
ubuntu 安装tensorrt
07-27
要在Ubuntu上安装TensorRT，可以按照以下步骤进行操作： 1. 首先，确保您已经安装了NVIDIA的显卡驱动程序。您可以使用以下命令检查驱动程序是否正确安装： ``` nvidia-smi ``` 如果看到了显卡信息，则表示驱动程序已成功安装。 2. 下载TensorRT的安装包。您可以从NVIDIA开发者网站上下载适用于Ubuntu的TensorRT版本。根据您的CUDA版本和操作系统选择合适的版本。 3. 解压下载的安装包。打开终端，导航到下载目录并执行以下命令： ``` tar xzvf <TensorRT package>.tar.gz ``` 4. 进入解压后的目录，执行以下命令安装TensorRT： ``` cd <TensorRT folder> sudo dpkg -i *.deb sudo apt-get update sudo apt-get install tensorrt ``` 5. 安装完成后，您可以验证TensorRT是否正确安装。在终端中运行以下命令： ``` dpkg -l | grep TensorRT ``` 如果输出中显示了TensorRT的版本信息，则表示安装成功。 现在，您已经成功在Ubuntu上安装了TensorRT。您可以使用它来加速深度学习模型的推理过程。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

花花少年

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值