Ubuntu 1804 安装 TensorRT（tar安装方式）CUDA 11.8

Tensorflow可以使用TensorRT加速，如果没有会出现Warning：Could not find TensorRT警告，本文将介绍如何在Ubuntu 18.04上以tar文件方式安装TensorRT（以CUDA 11.8为例）

参考NVIDIA 官方安装文档：安装指南 ：： NVIDIA Deep Learning TensorRT Documentation 中的3.2.3节以tar方式安装

注：如果使用conda虚拟环境，需要先激活需要安装的环境后进行安装。

1. 下载tar安装包

注册并登陆 NVIDIA TensorRT Download | NVIDIA Developer

下载对应系统与CUDA版本的TensorRT包，GA是稳定版，EA是测试版，我下载的是8.6 GA版本（如果有CUDA 10.2 多版本需求，可以尝试安装8.5 GA）：

• TensorRT 8.6 GA for Linux x86_64 and CUDA 11.0, 11.1, 11.2, 11.3, 11.4, 11.5, 11.6, 11.7 and 11.8 TAR Package

2. 移动安装包到需要安装位置（本文使用/usr/share/下）

 按照安装包的名称填写下列命令并执行，我的是version=8.6.1.6, CUDA=11.8，修改这两个字段即可，其他的不用管

• 8.x.x.x是您的 TensorRT 版本
• cuda-x.x是 CUDA 版本

version="8.6.1.6"
arch=$(uname -m)
cuda="cuda-11.8"
tar -xzvf TensorRT-${version}.Linux.${arch}-gnu.${cuda}.tar.gz</span></span>

解压后使用ls查看包含以下目录

bin  data  doc  graphsurgeon  include  lib  onnx_graphsurgeon  python  samples  targets  uff

3. 将 TensorRT lib 目录的绝对路径添加到 环境变量LD_LIBRARY_PATH：

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/share/TensorRT-8.6.1.6/lib>

 

4.安装 Python TensorRT wheel 文件（将 cp3x 替换为 所需的 Python 版本，例如，用于 Python 3.8 的则为 cp38)

cd /usr/share/TensorRT-8.6.1.6/python
python3 -m pip install tensorrt-*-cp38-none-linux_x86_64.whl

（可选）安装 TensorRT 精益和调度运行时wheel文件：

python3 -m pip install tensorrt_lean-*-cp38-none-linux_x86_64.whl
python3 -m pip install tensorrt_dispatch-*-cp38-none-linux_x86_64.whl

 

5. 安装 Python UFF wheel 文件。仅当您计划使用 带有 TensorFlow 的 TensorRT，采用 UFF 格式。

cd /usr/share/TensorRT-8.6.1.6/uff

python3 -m pip install uff-0.6.9-py2.py3-none-any.whl

检查安装 跟：

which convert-to-uff

 

6. 安装 Python graphsurgeon wheel 文件。

cd /usr/share/TensorRT-8.6.1.6/graphsurgeon

python3 -m pip install graphsurgeon-0.4.6-py2.py3-none-any.whl

 

7. 安装 Python onnx-graphsurgeon wheel 文件。

cd /usr/share/TensorRT-8.6.1.6/onnx_graphsurgeon
	
python3 -m pip install onnx_graphsurgeon-0.3.12-py2.py3-none-any.whl

 

8. 验证安装：

输入python进入python

import tensorrt

print(tensorrt.__version__)

正常打印版本即安装完成