本文主要记录一下在windows+Anaconda配置TensorRT的教程,通过此教程配置完TensorRT后,可以在Anaconda的虚拟环境内使用TensorRT。Anaconda已经事先安装好了。
一:创建虚拟环境
输入下面的指令
conda create -n tensorrt python=3.8
激活虚拟环境
conda activate tensorrt
二:安装CudaToolKit和CUDNN(跳过)
三:安装TensorRT
3.1下载TensorRT
官网地址TensorRT 10.x Download | NVIDIA Developer
本文使用的是tensorRT10.0版本
3.2配置TensorRT系统环境变量
下载完成后,进行解压,并且进入lib子文件夹,如下图所示,将路径复制下来,我的是D:\Desktop\TensorRT-10.0.0.6.Windows10.win10.cuda-11.8\TensorRT-10.0.0.6\lib
然后设置系统环境变量
依次确定保存出来即可。
3.3安装TensorRT依赖
进入刚才解压的TensorRT文件夹内的python子目录,根据python版本选择好对应whl文件,如下图所示。
重新打开conda控制台,因为环境变量改变后,cmd不会刷新。
重新进入虚拟环境
conda activate tensorrt
然后输入pip install,将上面那个文件拖入控制台
pip install D:\Desktop\TensorRT-10.0.0.6.Windows10.win10.cuda-11.8\TensorRT-10.0.0.6\lib
执行结果如下图所示
安装完成后会出现successfully字样,到这里tensorrt已经安装结束。
四:安装Pycuda
pycuda依赖是封装好的cuda api接口,可以用来申请显存等操作。
官网在这pycuda · PyPI,或者也可以输入下面这个命令,进入虚拟环境后输入下面这个命令
pip install pycuda
安装完成后会提示successfully installed的信息
五:测试TensorRT样例
tensorrt官方提供了可供测试的样例,进入刚才下载好的tensorrt文件夹下面的samples\python\目录下,这里我们选择一个手写数字识别的示例,如下图所示。
拷贝路径,在tensorrt的虚拟环境下,cd 此路径,然后输入如下指令
python sample.py
此时会进行训练,并且在训练结束后给出相应的预测结果,如下图所示,到此为止,tensorrt已经彻底安装完毕
如果出现下面的报错
还是在当前的文件夹输入
pip install -r requirments.tst
这个时候可以训练了,但是用的是cpu在训练
进入Pytorch官网,下载torch这个库,根据cuda的版本来下载,我的是11.8
pip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
可以看到GPU以及跑满了 ,说明安装成功了。