TensorRT简介与实践(python)

helloworld31006

已于 2023-11-07 14:54:40 修改

阅读量229

点赞数 1

分类专栏：深度学习推理加速文章标签： python 人工智能深度学习

于 2023-11-05 13:58:42 首次发布

本文链接：https://blog.csdn.net/wuzhongqing12/article/details/134191424

版权

1 篇文章 0 订阅

订阅专栏

TensorRT是英伟达公司给N卡开发的一个推理加速代码，因此，要使用TrnsorRT需要具备两个条件：1.需要有GPU。2.GPU需要是英伟达的卡。此外，TensorRT有C++版本与python版本，下面介绍一下python版本的TensorRT安装。

安装TensorRT之前，需要先先安装CUDA以及CUDNN，这一部分的安装不属于本文内容，参考方法。

（1）查询安装的CUDA版本

在cmd中运行nvidia-smi，查看驱动版本，如下面的图，我的版本是12.2，然后百度一下与你的CUDA对应的TensorRT版本，在这里看。

（2）下载TensorRT

然后去官网下载对应版本的TensorRT，下载完成之后解压下载的文件，就会看到如下的几个文件

将这个文件里的lib文件拷贝到cuda的lib文件夹下，具体路径参考下面的路径。

此外，需要将include、bin、lib等路径添加到系统路径中。bin中的trtexec.exe文件用于将各种格式的权重转换为tenrotRT所支持的.engin文件。

进入上述的python路径，会看到如下的安装包

在python环境中，进行pip安装即可。

本文基于YOLOv8n,测试了在推理一张图片时，使用TensorRT与不使用TensorRT的推理时间区别

实验结果如下：

智妍工作室招合作：

工作室微信号：hello_world_uuu

工作室微信号二维码：

合作内容包括：计算机视觉AI算法设计、虚拟人定制、详情请移步淘宝店铺，或加工作室微信私聊。

关注