TensortRT介绍
13_(1460条消息) TensorRT-介绍_知更鸟k的博客-CSDN博客
13_(1460条消息) TensorRT详细入门指南_tensorrt教程_AI松子666的博客-CSDN博客
安装TensorRT
查看Cuda 与Cudnn版本
在安装之前,一定要确认好自己所使用的CUDA、CUDNN和python的版本,因为这关系着tensorrt的版本。例如作者本人就因为版本问题重复安装了很多次,虚拟环境都搭建好了但是最后发现下载的tensorrt没有对应的python版本。
nvcc -V
cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2
测试时cudnn安装的是8。
附:cuda 与 TensorRt 版本不匹配时,常见报错:
-------------------------------------------------------------------
PyCUDA ERROR: The context stack was not empty upon module cleanup.
-------------------------------------------------------------------
A context was still active when the context stack was being
cleaned up. At this point in our execution, CUDA may already
have been deinitialized, so there is no way we can finish
cleanly. The program will be aborted now.
Use Context.pop() to avoid this problem.
-------------------------------------------------------------------
下载TensorRT
选择TensorRT 8.2 EA for Linux x86_64 and CUDA 11.0, CUDA 11.1, CUDA 11.2, 11.3 and 11.4 TAR Package就好了,不用管什么系统
有EA和GA版本,我选择EA 因为Early Access的意思
安装TensorRT
解压 tar xzvf TensorRT-8.2.0.6.Linux.x86_64-gnu.cuda-11.4.cudnn8.2.tar.gz
解压得到TensorRT-6.0.1.5的文件夹,将里边的lib绝对路径添加到环境变量中
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/xxxxx/TensorRT-6.0.1.5/lib
# xxx为你自己的目录
# 如果手动添加到.bashrc文件中,需要执行source .bashrc命令,配好的环境才能生效
安装TensorRT
cd TensorRT-6.0.1.5/python
pip install tensorrt-6.0.1.5-cp37-none-linux_x86_64.whl
# python环境并没有限制,py35,py36,py37都可
安装UFF,支持tensorflow模型转化
cd TensorRT-6.0.1.5/uff
pip install uff-0.6.5-py2.py3-none-any.whl
安装graphsurgeon,支持自定义结构
cd TensorRT-6.0.1.5/graphsurgeon
pip install graphsurgeon-0.4.1-py2.py3-none-any.whl
检验
以上,我们就成功的将tensorRT安装完了,试着执行一下python,然后看能不能导入这些模块。
如果成功的import tensorrt
,那么就算安装成功咯。