Win10安装Tensorrt和torch2trt
1 前言
1.1 实验环境
(1)主机系统:Win10
(2)显卡: Quadro RTX 6000
(3)CUDA版本:V11.7.64
(4)Python:3.8.18
(5)TensorRT:8.6.1.6
1.2 下载链接
(1)TensorRT8.6.1.6下载链接(下载资源包): https://developer.nvidia.com/tensorrt
(2)pycuda下载链接((pip 离线安装):https://pypi.org/project/pycuda/2022.1/#history
也可在线下载:pip install pycuda;用于从 Python 访问Nvidia的CUDA并行计算 API。
(3)torch2trt下载链接((pip 离线安装):https://github.com/NVIDIA-AI-IOT/torch2trt
(4)在线安装onnx和cython: pip install onnx cython
2 具体安装
2.1 TensorRT安装
2.1.1 设置环境变量
1、 解压下载的资源包,并将TensorRT对应的lib位置添加至系统环境变量。
2.1.2 安装TensorRT资源包中的3个whl文件
如上图所示,分别在graphsurgeon、python、uff在3个文件夹中找到对应的以下3个whl文件,并使用pip install 进行安装。
pip install graphsurgeon-0.4.6-py2.py3-none-any.whl
pip install tensorrt-8.6.1-cp38-none-win_amd64.whl
pip install uff-0.6.9-py2.py3-none-any.whl
2.1.3 复制tensorrt的库到CUDA安装目录的指定文件夹
(1)将 TensorRT-8.6.1.6\include中头文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\include
(2)将TensorRT-8.6.1.6\lib 中所有lib文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\lib\x64
(3)将TensorRT-8.6.1.6\lib 中所有dll文件复制到C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.7\bin
2.2 安装torch2trt
git clone https://github.com/NVIDIA-AI-IOT/torch2trt.git
cd torch2trt
python setup.py install
2.3 验证是否安装成功
不报错即表示安装成功!