TensorRT 安装与测试

最新推荐文章于 2024-06-01 17:16:45 发布
最新推荐文章于 2024-06-01 17:16:45 发布
阅读量2.4k 收藏 10
点赞数
文章标签： linux python 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BCblack/article/details/129985142
版权

☘️前言

在正式安装前，应确保已经安装好了 NVIDIA CUDA™ Toolkit，如果没有安装可以参考：NVIDIA CUDA Installation Guide
对于 TensorRT 来说，目前 cuDNN 是一个可选项，他现在只用来加速很少的层。

可以采用下面三种模式来安装 TensorRT：

  1. TensorRT的完整安装，包括TensorRT计划文件构建器功能。此模式与 TensorRT 8.6.0 之前提供的运行时相同。
  2. learn runtime 安装，此安装明显小于完整安装，并允许您加载和运行使用版本兼容的构建器标志构建的引擎。此安装将不提供生成 TensorRT 计划文件的功能。
  3. 调度运行时安装。此安装允许以最小的内存消耗进行部署，并允许您加载和运行使用版本兼容的构建器标志构建的引擎，并包含精简运行时。此安装将不提供生成 TensorRT 计划文件的功能。

查看 CUDA 版本

nvcc -V

输出如下：
image.png

查看 CuDNN 版本

针对 8.0 前的版本使用以下指令查看cudnn的版本：

cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2

输出：

#define CUDNN_MAJOR 5
#define CUDNN_MINOR 1
#define CUDNN_PATCHLEVEL 10
--
#define CUDNN_VERSION (CUDNN_MAJOR * 1000 + CUDNN_MINOR * 100 + CUDNN_PATCHLEVEL)

#include "driver_types.h"

8.0 以上版本查看方式为

cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

输出：

#define CUDNN_MAJOR 8
#define CUDNN_MINOR 0
#define CUDNN_PATCHLEVEL 4
--
#define CUDNN_VERSION (CUDNN_MAJOR * 1000 + CUDNN_MINOR * 100 + CUDNN_PATCHLEVEL)

#endif /* CUDNN_VERSION_H */

🛴开始安装

1. 使用 DEB 安装

首先安装 CUDA，参考：https://docs.nvidia.com/cuda/cuda-installation-guide-linux/index.html
接着安装 cuDNN，参考：https://docs.nvidia.com/deeplearning/cudnn/install-guide/index.html
下载与您正在使用的 Ubuntu 版本和 CPU 架构匹配的 TensorRT 本地存储库文件。
最后安装使用 Debian 方式安装 TensorRT，注意替换 ubuntu 、 cuda 、cpu架构版本

os="ubuntuxx04"
tag="8.x.x-cuda-x.x"
sudo dpkg -i nv-tensorrt-local-repo-${os}-${tag}_1.0-1_amd64.deb
sudo cp /var/nv-tensorrt-local-repo-${os}-${tag}/*-keyring.gpg /usr/share/keyrings/
sudo apt-get update

For full runtime

sudo apt-get install tensorrt

For the lean runtime only, instead of tensorrt

sudo apt-get install libnvinfer-lean8 sudo apt-get install libnvinfer-vc-plugin8

For lean runtime Python package

sudo apt-get install python3-libnvinfer-lean

For dispatch runtime Python package

sudo apt-get install python3-libnvinfer-dispatch

For all TensorRT Python packages

python3 -m pip install numpy 
sudo apt-get install python3-libnvinfer-dev

The following additional packages will be installed

python3-libnvinfer
python3-libnvinfer-lean
python3-libnvinfer-dispatch

If you want to install Python packages for the lean or dispatch runtime only, specify these individually rather than installing the dev package.
If you want to use TensorRT with the UFF converter to convert models from TensorFlow

python3 -m pip install protobuf 
sudo apt-get install uff-converter-tf

The graphsurgeon-tf package will also be installed with this command.
If you want to run samples that require onnx-graphsurgeon or use the Python module for your own project

python3 -m pip install numpy onnx 
sudo apt-get install onnx-graphsurgeon

🍁验证安装

dpkg-query -W tensorrt

输出如下：
image.png

2. 使用 TAR 安装

2.1 从 官网下载与环境匹配的 TAR 安装包

这里更新了服务器，服务器环境为

  • python : 3.10
  • cuda ：12.0
  • 显卡：3090 * 2
  • cuDnn : 8.8.0

image.png

EA 版本代表抢先体验（在正式发布之前）。
GA 代表通用性。 表示稳定版，经过全面测试。

解压

tar -xzvf TensorRT-8.6.0.12.Linux.x86_64-gnu.cuda-12.0.tar.gz

接着进入该文件
添加环境变量

vim ~/.bashrc
export LD_LIBRARY_PATH=解压TensorRT的路径/TensorRT-8.6.0.12/lib:$LD_LIBRARY_PATH
source ~/.bashrc

这里笔者使用的是 zsh
所以上面命令修改为

vim ~/.zshrc
export LD_LIBRARY_PATH=解压TensorRT的路径/TensorRT-8.6.0.12/lib:$LD_LIBRARY_PATH
source ~/.zshrc

接着依次安装

cd TensorRT-${version}/uff

python3 -m pip install uff-0.6.9-py2.py3-none-any.whl

#以下为按需安装

cd TensorRT-${version}/uff

python3 -m pip install uff-0.6.9-py2.py3-none-any.whl

cd TensorRT-${version}/graphsurgeon

python3 -m pip install graphsurgeon-0.4.6-py2.py3-none-any.whl

cd TensorRT-${version}/onnx_graphsurgeon
	
python3 -m pip install onnx_graphsurgeon-0.3.12-py2.py3-none-any.whl

🍁验证安装

image.png

例程测试：

cd samples/sampleOnnxMNIST/
make -j8
cd ../../bin
bin ./sample_onnx_mnist

输出如下：

&&&& RUNNING TensorRT.sample_onnx_mnist [TensorRT v8600] # ./sample_onnx_mnist
[04/06/2023-11:00:53] [I] Building and running a GPU inference engine for Onnx MNIST
[04/06/2023-11:00:53] [I] [TRT] [MemUsageChange] Init CUDA: CPU +362, GPU +0, now: CPU 367, GPU 375 (MiB)
[04/06/2023-11:00:56] [I] [TRT] [MemUsageChange] Init builder kernel library: CPU +1209, GPU +264, now: CPU 1652, GPU 639 (MiB)
[04/06/2023-11:00:56] [W] [TRT] CUDA lazy loading is not enabled. Enabling it can significantly reduce device memory usage and speed up TensorRT initialization. See "Lazy Loading" section of CUDA documentation https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#lazy-loading
[04/06/2023-11:00:56] [I] [TRT] ----------------------------------------------------------------
[04/06/2023-11:00:56] [I] [TRT] Input filename:   ../../../data/mnist/mnist.onnx
[04/06/2023-11:00:56] [I] [TRT] ONNX IR version:  0.0.3
[04/06/2023-11:00:56] [I] [TRT] Opset version:    8
[04/06/2023-11:00:56] [I] [TRT] Producer name:    CNTK
[04/06/2023-11:00:56] [I] [TRT] Producer version: 2.5.1
[04/06/2023-11:00:56] [I] [TRT] Domain:           ai.cntk
[04/06/2023-11:00:56] [I] [TRT] Model version:    1
[04/06/2023-11:00:56] [I] [TRT] Doc string:       
[04/06/2023-11:00:56] [I] [TRT] ----------------------------------------------------------------
[04/06/2023-11:00:56] [W] [TRT] onnx2trt_utils.cpp:374: Your ONNX model has been generated with INT64 weights, while TensorRT does not natively support INT64. Attempting to cast down to INT32.
[04/06/2023-11:00:56] [I] [TRT] Graph optimization time: 0.000296735 seconds.
[04/06/2023-11:00:56] [I] [TRT] Local timing cache in use. Profiling results in this builder pass will not be stored.
[04/06/2023-11:00:57] [I] [TRT] Detected 1 inputs and 1 output network tensors.
[04/06/2023-11:00:57] [I] [TRT] Total Host Persistent Memory: 24224
[04/06/2023-11:00:57] [I] [TRT] Total Device Persistent Memory: 0
[04/06/2023-11:00:57] [I] [TRT] Total Scratch Memory: 0
[04/06/2023-11:00:57] [I] [TRT] [MemUsageStats] Peak memory usage of TRT CPU/GPU memory allocators: CPU 0 MiB, GPU 4 MiB
[04/06/2023-11:00:57] [I] [TRT] [BlockAssignment] Started assigning block shifts. This will take 6 steps to complete.
[04/06/2023-11:00:57] [I] [TRT] [BlockAssignment] Algorithm ShiftNTopDown took 0.008767ms to assign 3 blocks to 6 nodes requiring 32256 bytes.
[04/06/2023-11:00:57] [I] [TRT] Total Activation Memory: 31744
[04/06/2023-11:00:57] [I] [TRT] [MemUsageChange] TensorRT-managed allocation in building engine: CPU +0, GPU +4, now: CPU 0, GPU 4 (MiB)
[04/06/2023-11:00:57] [I] [TRT] Loaded engine size: 0 MiB
[04/06/2023-11:00:57] [I] [TRT] [MemUsageChange] TensorRT-managed allocation in engine deserialization: CPU +0, GPU +0, now: CPU 0, GPU 0 (MiB)
[04/06/2023-11:00:57] [I] [TRT] [MemUsageChange] TensorRT-managed allocation in IExecutionContext creation: CPU +0, GPU +0, now: CPU 0, GPU 0 (MiB)
[04/06/2023-11:00:57] [W] [TRT] CUDA lazy loading is not enabled. Enabling it can significantly reduce device memory usage and speed up TensorRT initialization. See "Lazy Loading" section of CUDA documentation https://docs.nvidia.com/cuda/cuda-c-programming-guide/index.html#lazy-loading
[04/06/2023-11:00:57] [I] Input:
[04/06/2023-11:00:57] [I] @@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@+ @@@@@@@@@@@@@@
@@@@@@@@@@@@. @@@@@@@@@@@@@@
@@@@@@@@@@@@- @@@@@@@@@@@@@@
@@@@@@@@@@@#  @@@@@@@@@@@@@@
@@@@@@@@@@@#  *@@@@@@@@@@@@@
@@@@@@@@@@@@  :@@@@@@@@@@@@@
@@@@@@@@@@@@= .@@@@@@@@@@@@@
@@@@@@@@@@@@#  %@@@@@@@@@@@@
@@@@@@@@@@@@% .@@@@@@@@@@@@@
@@@@@@@@@@@@%  %@@@@@@@@@@@@
@@@@@@@@@@@@%  %@@@@@@@@@@@@
@@@@@@@@@@@@@= +@@@@@@@@@@@@
@@@@@@@@@@@@@* -@@@@@@@@@@@@
@@@@@@@@@@@@@*  @@@@@@@@@@@@
@@@@@@@@@@@@@@  @@@@@@@@@@@@
@@@@@@@@@@@@@@  *@@@@@@@@@@@
@@@@@@@@@@@@@@  *@@@@@@@@@@@
@@@@@@@@@@@@@@  *@@@@@@@@@@@
@@@@@@@@@@@@@@  *@@@@@@@@@@@
@@@@@@@@@@@@@@* @@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@@@@@@@@@@@@@@@@@@@@@@@@@@@@

[04/06/2023-11:00:57] [I] Output:
[04/06/2023-11:00:57] [I]  Prob 0  0.0000 Class 0: 
[04/06/2023-11:00:57] [I]  Prob 1  1.0000 Class 1: **********
[04/06/2023-11:00:57] [I]  Prob 2  0.0000 Class 2: 
[04/06/2023-11:00:57] [I]  Prob 3  0.0000 Class 3: 
[04/06/2023-11:00:57] [I]  Prob 4  0.0000 Class 4: 
[04/06/2023-11:00:57] [I]  Prob 5  0.0000 Class 5: 
[04/06/2023-11:00:57] [I]  Prob 6  0.0000 Class 6: 
[04/06/2023-11:00:57] [I]  Prob 7  0.0000 Class 7: 
[04/06/2023-11:00:57] [I]  Prob 8  0.0000 Class 8: 
[04/06/2023-11:00:57] [I]  Prob 9  0.0000 Class 9: 
[04/06/2023-11:00:57] [I] 
&&&& PASSED TensorRT.sample_onnx_mnist [TensorRT v8600] # ./sample_onnx_mnist

🗺️参考

https://docs.nvidia.com/deeplearning/tensorrt/install-guide/index.html
https://zhuanlan.zhihu.com/p/379287312
https://blog.csdn.net/qq_34859576/article/details/119108275
https://blog.csdn.net/qq_43644413/article/details/124900671

零点七零七
关注
  • 0
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
TensorRT安装
12-21
TensorRT安装以及相关配置 看到很多tensorrt安装教程有一些问题,所以我安装完后写这篇记录并分享一下. 1.下载tar包 TensorRT官方API提供了四种安装方式，建议下载tar包进行安装。下载地址https://developer.nvidia.com/tensorrt 2. 安装TensorRT 2.1 解压 tar xzvf TensorRT-6.0.1.5..-gnu.cuda-10.1.cudnn7.x.tar.gz 2.2 添加环境变量 $ vim ~/.bashrc # 打开环境变量文件 # 将下面三个环境变量写入环境变量文件并保存 export LD_LIBR
tensorRT安装成功后的测试数据.zip
08-30
在本案例中，您已经成功安装了TensorRT，并且有一个名为“mnist_data”的测试数据集，这通常用于验证TensorRT对MNIST手写数字识别模型的部署和执行。 MNIST数据集是机器学习领域的一个经典数据集，包含60,000个训练...
TensorRT(10):python版本安装
热门推荐
hjxu2016的博客
02-10 1万+
随着TensorRT8.0版本的发布，windows下也正式支持Python版本了，跟紧NVIDIA的步伐，正式总结一份TensorRT-python的使用经验。 一、底层库依赖 在安装TensorRT前，首先需要安装CUDA、CUDNN等NVIDIA的基本库，如何安装，已经老生常谈了，这里不再过多描述。 关于版本的选择，楼主这里： CUDA版本，楼主这里选择的是 cuda11.5 ，具体cuda版本见 https://developer.nvidia.com/cuda-toolkit-archive，可自
Win10安装TensorRT
贾路飞的博客
06-01 426
TensorRT是由Nvidia推出的C++语言开发的高性能神经网络推理库，是一个用于生成部署的优化器和运行时引擎。和cudnn类似，但它不支持训练，只支持模型推理。且比cudnn模型推理效率更高。
TensorRT介绍、安装和测试
qq_37546267的博客
04-14 4336
1. What is TensorRT ?       TensorRT的核心是一个C++库，能在NVIDIA的图像处理单元(GPU)上进行高性能的推断。它为与TensorFlow, Caffe, PyTorch, MXNet等主流训练框架进行互补工作而设计，专注于在GPU上高效地运行训练好的网络，生成预测结果。   ...
tensorRT的完整安装以及常见错误 export failure: [WinError 127] 找不到指定的程序。
zhuguiqin1的专栏
05-06 3328
我们需要把D:\tensorrt\TensorRT-8.6.1.6\lib对应的目录放到window环境变量即可。版本，安装完成tensorrt以后再pip install python对应的whl文件。在python中执行import tensorrt as trt代码会出现如下错误。
TensorRT环境搭建
范小c~的博客
04-07 1733
手动安装tensorrt
tensorRT模型性能测试
周同学的博客
07-30 2781
tensorRT模型性能测试
TensorRT安装与测试
luohuaqiuyu的博客
02-28 1821
TensorRT安装与测试
Tensorrt-install
weixin_43941538的博客
10-19 268
1.1.1 Debian installation 下载 安装 os="ubuntuxx04" tag="cudax.x-trt8.x.x.x-yyyymmdd" sudo dpkg -i nv-tensorrt-repo-${os}-${tag}_1-1_amd64.deb sudo apt-key add /var/nv-tensorrt-repo-${os}-${tag}/7fa2af80.pub sudo apt-get update sudo apt-get install tensorrt
tensorRT安装
Little__Black的博客
08-24 1017
cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2 这个什么也不会输出。服务器直接下载，用wget下，但是我没有成功，下了30多k的啥东西我也不知道，所以我是直接本地下载，然后scp传上去的。因为是最新的，所以版本信息在cudnn_version.h里面，不在cudnn.h里。第一行： 将 cuDNN 库的头文件复制到 CUDA 的包含目录下。第二行：将 cuDNN 库的动态链接库复制到 CUDA 的库目录下。
ubuntu18.04 python3.8 CUDA11.4 PYTorch1.13.1 tensorrt8.4安装测试全过程
最新发布
06-28
TensorRT-8.4.3.1.Linux.x86_64-gnu.cuda-11.6.cudnn8.4； 默认nvidia_cudnn_cu11-8.5.0.96-2-py3-none-manylinux1_x86_64； 默认nvidia_cublas_cu11-11.10.3.66-py3-none-manylinux1_x86_64； cudnn-11.3-linux-x64...
TensorRT部署DETR项目工程
07-04
确保你有NVIDIA GPU和安装了TensorRT、ONNX等相关依赖，然后按照脚本顺序执行，即可完成DETR模型的TensorRT部署和性能测试。 **5. 性能优化** 在实际部署中，可以通过调整TensorRT的优化参数，如动态形状支持、混合...
安装TensorRT首先要安装cuda和cudnn，此文件为cudnn的压缩包
03-07
安装完成后，为了验证TensorRT和cuDNN是否正常工作，你可以编写一个简单的测试程序，运行一些基本的深度学习操作。此外，也可以通过官方提供的benchmark工具来评估性能。 总之，TensorRT依赖于CUDA和cuDNN来实现...
安装TensorRT
JineD的博客
11-29 943
在安装之前，一定要确认好自己所使用的CUDA、CUDNN和python的版本，因为这关系着tensorrt的版本。测试时cudnn安装的是11.4，执行cat /usr/local/cuda/include/cudnn.h | grep CUDNN_MAJOR -A 2 无法查看到版本号，但并没有影响到下面的安装步骤。以上，我们就成功的将tensorRT安装完了，试着执行一下python，然后看能不能导入这些模块。解压得到TensorRT-6.0.1.5的文件夹，将里边的lib绝对路径添加到环境变量中。
TensorRT安装教程
qq_43742590的博客
02-26 1396
如何优雅地安装TensorRT
【TensorRT】TensorRT安装教程
qq_43573527的博客
06-27 2362
将解压文件夹中【include】中的文件复制到CUDA对应【include】中。将解压文件夹中【lib】中的.lib文件复制到CUDA对应【lib/x64】中。将解压文件夹中【lib】中的.dll文件复制到CUDA对应【bin】中。将解压文件夹中【bin】中的文件复制到CUDA对应【bin】中。安装【onnx_graphsurgeon】中的.whl文件。安装【graphsurgeon】中的.whl文件。安装【python】中对应版本的.whl文件。安装【uff】中的.whl文件。（演示中使用版本如图）
tensorrt的安装和使用
zhuikefeng的博客
09-21 1647
提前安装好和，登录 NVIDIA 官方网站下载和主机 CUDA 版本适配的 TensorRT 压缩包即可。以 CUDA 版本是 10.2 为例，选择适配 CUDA 10.2 的。
tensorrt安装 ubuntu
07-30
根据引用[1]和引用[2]的内容，以下是在Ubuntu上安装TensorRT的步骤： 1. 根据你的CUDA版本，在官网上下载对应版本的TensorRT的tar包。 2. 解压tar包，并将解压后的TensorRT库路径添加到LD_LIBRARY_PATH环境变量中。 3. 进入TensorRT的python目录，使用pip安装对应版本的tensorrt包。 4. 验证TensorRT安装是否成功，可以运行Python代码`import tensorrt;print(tensorrt.__version__)`来输出TensorRT的版本号。 5. 安装uff和graphsurgeon，分别进入对应的目录，使用pip安装对应版本的whl文件。 根据引用[3]的内容，还需要进行以下准备工作： 1. 确保已经安装了Python，并且在TensorRT的python文件夹下有对应版本的whl文件。 2. 使用pip安装对应版本的whl文件，以添加对Python的支持。 3. 运行测试代码`import tensorrt as trt;print(trt.__version__)`来验证安装是否成功。 综上所述，你可以按照以上步骤在Ubuntu上安装TensorRT。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值