YOLOX 使用 TensorRT 进行加速

最新推荐文章于 2023-10-06 20:41:07 发布

georgeye323

最新推荐文章于 2023-10-06 20:41:07 发布

阅读量311

点赞数

分类专栏：云计算文章标签： python linux ubuntu

本文链接：https://blog.csdn.net/qq_37208995/article/details/129182110

版权

该博客介绍了如何在Ubuntu环境下，使用TensorRT对YOLOX模型进行加速。首先，详细阐述了安装TensorRT的步骤，包括下载、解压、生成环境变量以及安装Python相关依赖。接着，讲解了安装CUDNN的过程，以及将CUDNN文件复制到CUDA目录并设置权限。最后，提到了安装torch2trt和模型转换的操作，为YOLOX模型在实际应用中实现高性能提供指导。

摘要由CSDN通过智能技术生成

YOLOX 使用 TensorRT 进行加速

所有操作建议在 conda 环境下进行操作

安装TensorRT

下载

下载列表地址：https://developer.nvidia.com/nvidia-tensorrt-8x-download

找到适合自己 CUDA 版本的TensorRT，建议下载 TAR 包

TensortRT8.0 适用于CUDA 113. https://developer.nvidia.com/compute/machine-learning/tensorrt/secure/8.0.3/tars/tensorrt-8.0.3.4.linux.x86_64-gnu.cuda-11.3.cudnn8.2.tar.gz

注意将下述所有操作的 TensorRT-8.0.3.4 替换为自己下载安装的版本

解压

tar -zxvf TensorRT-8.0.3.4.Linux.x86_64-gnu.cuda-11.3.cudnn8.2.tar.gz

安装

生成环境变量

# 将下列语句加入到 ~/.bashrc 文件

export TRT_PATH=/home/szyd/Downloads/TensorRT-8.0.3.4
export PATH=$PATH:$TRT_PATH/bin
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$TRT_PATH/lib
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$T