目录
什么是TensorRT
TensorRT是由Nvidia推出的C++语言开发的高性能神经网络推理库,是一个用于生成部署的优化器和运行时引擎。和cudnn类似,但它不支持训练,只支持模型推理。且比cudnn模型推理效率更高。
下载TensorRT
官网下载地址。根据已经安装的CUDA Driver版本决定TensorRT的安装版本。
EA ,即Early Access,抢先体验版本;
GA ,即General Availability,稳定版本;
安装TensorRT
-
拷贝文件
解压安装包后,如下图所示:
将bin、lib、include三个文件夹的内容分别拷贝到CUDA安装目录对应的文件夹中。
注意:dll可能在lib文件夹中,不在bin文件夹中。需要将dll拷贝到CUDA安装目录下的bin文件夹中
-
安装whl文件
使用pip install命令安装graphsurgeon、onnx_graphsurgeon、uff、python文件夹内的whl文件。
举例说明:
进入到graphsurgeon文件内
在路径栏输入:cmd,并按下回车键,会弹出命令窗口
在命令窗口中输入:pip install graphsurgeon-0.4.6-py2.py3-none-any.whl,按下回撤完成安装
需要注意的是,python文件夹内包含多个文件。根据电脑中安装的python版本选择安装哪一个文件。我的python版本为3.11,因此安装下图箭头所示的文件。lean是精简版,dispatch是包含动态调度的版本,这两个版本可以不安装。
-
验证是否安装成功
打开命令窗口,输入pyhton,输入import tensorrt,再输入tensorrt.__version__,显示版本代表安装成功。