环境搭建 ubuntu22.04+gtx1070+cuda12.0+cudnn8.8.0+TensorRT8.6

构建基础      

         cuda12.0的.deb包会强制安装所依赖的nvidia-525.60.13版本驱动，但是对于ubuntu22.04来说，linux内核为6.5.0，其与该nvidia驱动不兼容，会报错，所以要先安装所支持的驱动，然后再使用runfile进行安装cuda12.0。cuda与驱动版本对应可查如下官网：

1. CUDA 12.4 Release Notes — Release Notes 12.4 documentation

        对于1070显卡来说，SM为6.1，故不能使用10.0版本的TensorRT，SM并不支持。

一、安装nvidia驱动

1.使用ubuntu的自动安装

          对于我的环境来说，使用该命令将自动安装535.161.07版本的驱动，安装后需要重启。

sudo ubuntu-drivers autoinstall

2.官网下载

        进入官网，选择相应的型号下载驱动。

二、安装CUDA-12.0

1.下载CUDA-12.0

官网地址

根据官方提示，下载安装cuda的runfile文件，切记不要使用deb进行安装,会强制安装525版本的驱动。

wget https://developer.download.nvidia.com/compute/cuda/12.0.0/local_installers/cuda_12.0.0_525.60.13_linux.run
sudo sh cuda_12.0.0_525.60.13_linux.run

2.等待一段时间，输入accept

3.将驱动选项取消掉，选择install

4.打开终端，配置cuda环境

vim ~/.bashrc

export PATH=/usr/local/cuda-12.0/bin:$PATH
export LD_LIBRARY_PATH=/usr/local/cuda-12.0/lib64:$LD_LIBRARY_PATH

source ~/.bashrc

5.验证

   调用命令 nvcc --version,出现如下输出，则安装成功

三、安装cudnn-8.8.0

1.下载cudnn-8.8.0.deb安装包

   也可以下载其他版本，但是要与cuda版本相对应，下载地址：cuDNN 历史版本 | NVIDIA 开发者

2.安装deb包

sudo dpkg -i nv-tensorrt-local-repo-ubuntu2204-8.6.1-cuda-12.0_1.0-1_amd64.deb

3.根据提示导入GPG

sudo cp /var/cudnn-local-repo-ubuntu2204-8.8.0.121/cudnn-local-04B81517-keyring.gpg /usr/share/keyrings/

4.更新库

sudo apt update

5.下载所需其他的包

1）查看命令

apt-cache policy libcudnn8

2）安装

sudo apt-get install libcudnn8=8.8.0.121-1+cuda12.0
sudo apt-get install libcudnn8-dev=8.8.0.121-1+cuda12.0
sudo apt-get install libcudnn8-samples=8.8.0.121-1+cuda12.0

6.测试

cp -r /usr/src/cudnn_samples_v8/ .
cd cudnn_samples_v8/mnistCUDNN
make clean && make
./mnistCUDNN

 1）出现Test passed，则为成功。

 2）报错，缺少FreeImage.h头文件

sudo apt install libfreeimage3 libfreeimage-dev

四、.deb安装TensorRT

1.下载TensorRT8.6GA.deb包

2.安装deb包

sudo dpkg -i nv-tensorrt-local-repo-ubuntu2204-8.6.1-cuda-12.0_1.0-1_amd64.deb

3.根据提示导入GPG

sudo cp /var/nv-tensorrt-local-repo-${os}-${tag}/*-keyring.gpg /usr/share/keyrings/

4.安装全部tensorrt

sudo apt update
sudo apt install -y tensorrt

5.验证安装

dpkg-query -W tensorrt

   将出现

tensorrt	8.6.1.6-1+cuda12.0

6.测试

        如果想要测试验证的话，可以下载tar包，见下面安装方法

五、Tar安装TensorRT

1.下载tensorrt-8.6GA.tar包

2.安装

1）解压

tar -xzvf TensorRT-8.6.1.6.Linux.x86_64-gnu.cuda-12.0.tar.gz

2）添加环境变量

vim ~/.bashrc
export LD_LIBRARY_PATH=xx/TensorRT-8.6.1.6/lib:$LD_LIBRARY_PATH

3）安装python TensorRT wheel file 。

cp3x是你环境所对应的python版本，例如我是3.10版本，那么对应的就是cp310

cd TensorRT-8.6.1.6/python

python3 -m pip install tensorrt-*-cp310-none-linux_x86_64.whl

4）安装runtime wheel files

python3 -m pip install tensorrt_lean-*-cp310-none-linux_x86_64.whl
python3 -m pip install tensorrt_dispatch-*-cp310-none-linux_x86_64.whl

5）安装onnx-graphsurgeon wheel file

cd TensorRT-8.6.1.6/onnx_graphsurgeon

python3 -m pip install onnx_graphsurgeon-0.5.0-py2.py3-none-any.whl

3.测试

cd TensorRT-8.6.1.6/samples/sampleOnnxMNIST
make 
cd ../../targets/x86_64-linux-gnu/bin
./sample_onnx_mnist

出现如下结果，则为成功