0. 前言
前提是假设电脑中已经安装了CUDA 和CUDNN,并设置好相关的环境变量
可以参考 :CUDA与cuDNN安装教程(超详细)-CSDN博客
1.下载
需要再英伟达官网上下载相应的版本下载地址 : Log in | NVIDIA Developer
下载需要注册,如果你希望和我安装的版本以下,可以在我的网盘中下载 ,链接:https://pan.baidu.com/s/1UPcs72Af6GFuykg83FVwfA?pwd=data
提取码:data
2.复制文件
- TensorRT-8.4.1.5\bin\trtexec.exe --> CUDA\bin文件夹进行覆盖;
- TensorRT-8.4.1.5\include\所有文件 -->CUDA\bin\include 文件夹进行覆盖;
- TensorRT-8.4.1.5\lib\*.lib文件 -->CUDA\lib\x64 文件夹进行覆盖;
- TensorRT-8.4.1.5\lib\*.dll文件 -->CUDA\bin文件夹进行覆盖;
3. 用pip安装whl
用pip install如下文件夹中的whl文件
- \TensorRT-8.4.1.5\graphsurgeon\ graphsurgeon-0.4.6-py2.py3-none-any.whl
- \TensorRT-8.4.1.5\onnx_graphsurgeon\onnx_graphsurgeon-0.3.12-py2.py3-none-any.whl
- \TensorRT-8.4.1.5\uff\uff-0.6.9-py2.py3-none-any.whl
- \TensorRT-8.4.1.5\python\对应python版本的tensorrt
4. 验证安装是否成功
import tensorrt as trt
print(trt.__version__)
5.踩坑实录
- 如果运行运行中出现错误,可能是显卡和cuda,cudnn或者tensor的版本不对,我的是4090显卡,后来更换了cuda12.0才解决问题。当然后面的cudnn和tensorrt也都更换成了12.0对用的版本
- 如果在onnx转换为tensorrt的engine文件的过程中出现无法保存的现象,那么用命令提示符(管理员版本)