环境
- CUDA 11.3
- CUDNN 8.1
下载安装tensorRT (匹配相应的版本)
官网地址 :https://developer.nvidia.com/nvidia-tensorrt-8x-download
选择合适的版本下载,本人下载如图所示:
安装
解压
tar zxf TensorRT-8.2.1.8.Linux.x86_64-gnu.cuda-11.4.cudnn8.2.tar.gz
添加环境
将下面的环境变量 添加到.bashrc文件并保存
gedit ~/.bashrc
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/home/zvv/Downloads/software/TensorRT-8.2.1.8/lib
source ~/.bashrc
复制tensorRT目录下 lib、include文件夹到系统文件夹(或者将这两个文件夹路径添加到.bashrc文件中)
sudo cp -r /home/zvv/Downloads/software/TensorRT-8.2.1.8/lib/* /usr/lib
sudo cp -r /home/zvv/Downloads/software/TensorRT-8.2.1.8/include/* /usr/include
C++测试是否成功
测试代码:TensorRT-8.0.1.6/samples/sampleMNIST
在tensorRT目录下samples文件夹下 用sampleMNIST示例测试
编译
make clean && make
编译成功,执行bin目录下的可执行文件
执行
./../../bin/sample_mnist
安装Python 环境的TensorRT
在tensorRT目录下 python文件夹下 安装相应的whl文件(前提时你有python环境),如下图:
pip install pycuda
pip install tensorrt-8.2.1.8-cp38-none-linux_x86_64.whl
下载安装torchtrt
1.2 安装 torch2trt
#安装依赖
sudo apt-get install libprotobuf* protobuf-compiler ninja-build
## 适用于 TRT7
git clone https://github.com/NVIDIA-AI-IOT/torch2trt
## 适用于 TRT8,如果安装了TensorRT8.x版本就用这个
git clone -b support_trt_8 https://gitee.com/jeremyjj/torch2trt-trt8.git
cd torch2trt
(不要用这个)sudo python setup.py install --plugins
(一直报错:ModuleNotFoundError: No module named 'torch)
最后:
(用这个)python setup.py install 成功
如果遇到:Illegal instruction的问题
1.'''修改环境变量'''
sudo gedit /etc/profile
把 export OPENBLAS_CORETYPE=ARMV8 加入最后面一行,然后保存
'''更新环境变量'''
source /etc/profile
参考:NVIDIA Jetson xavier上面安装完llvmlite后,import torch时报错,Illegal instruction (core dumped)-CSDN博客
2. 由于环境变量和路径权限可能因用户不同而有所不同,这可能是导致问题的原因之一
去掉 sudo