Ubuntu16.04服务器安装LLaVA对应的CUDA

Ubuntu16.04服务器安装LLaVA对应的CUDA

在根据LLaVA项目说明配置好conda等环境后，安装相关依赖，在测试程序中输出torch.__version__查看相应的CUDA版本。

import torch
# 检查torch.__version__，也可以用于检查是否安装成功
print(torch.__version__)

得到的输出结果为2.0.1-cu117，说明对应版本是CUDA 11.7，检查本机CUDA版本（命令如下，得到结果为10.0）。

nvcc -V

检查后得到的结果是，应该是CUDA版本不够，考虑升级CUDA。

Cuda compilation tools, release 10.0, V10.0.130
torch version: 2.0.1+cu117

一、查找并安装对应版本的CUDA

CUDA（Compute Unified Device Architecture）是由 NVIDIA 推出的一种并行计算平台和编程模型，专门用于利用 NVIDIA GPU的并行计算能力。CUDA 允许开发人员使用通用编程语言（如 C、C++）来编写用于 GPU 加速的应用程序。以下是针对学校服务器的CUDA配置方法

1. 检查系统支持的最高CUDA版本，如下图所示，最高支持12.0版本。

   nvidia-smi
   

   

2. 根据显卡在CUDA Toolkit Archive找到自己需要的CUDA，笔者选择CUDA Toolkit 11.7。根据自己的操作系统和安装类型获取下载命令后在终端输入，由于系统是Ubuntu 16.04但是满足项目要求的CUDA >= 11.6的版本只支持18.04以上的版本，选择最近的版本进行安装。

   

   wget https://developer.download.nvidia.com/compute/cuda/12.0.0/local_installers/cuda_12.0.0_525.60.13_linux.runsudo sh cuda_12.0.0_525.60.13_linux.run
   

3. 阅读协议，输入accept同意协议。

   

4. 然后进入安装选项，这里选择去掉驱动器的选项，选择Install进行安装，如果之前有CUDA来更新的话就需要选择更新相应的CUDA（在下一个框中选择yes。(图片是12.0对应的版本，第二次写的时候忘记更新了)

   

5. 安装完成的界面如下所示。

   

6. 安装完成后，将把CUDA路径添加到当前用户的配置文件中。

   vim /etc/profile
   # 以下内容弄添加在profile文件末尾，添加环境变量
   export PATH="/usr/local/cuda-11.7/bin:$PATH"
   export PATH="/usr/local/cuda-11.7/lib64:$PATH"
   

7. 使用nvcc -V检查CUDA版本。

   

二、安装和配置cuDNN

cuDNN（CUDA Deep Neural Network library）是由 NVIDIA 提供的一个用于深度学习加速的 GPU 加速库。cuDNN 主要用于深度神经网络（DNN）的训练和推理，提供了高性能的基本操作和优化，以加速深度学习任务。下载cuDNN需要用邮箱在NVIDIA官网注册一个账户。

完成注册后，在cuDNN Archive找到要下载的cuDNN版本，由于上述使用的CUDA版本是11.7，因此选择最新的v8.9.6, for CUDA 11.x。将对应安装包下载到服务器中（复制链接使用wget命令下载并解压，不确定可以使用，笔者是通过下载到自己的客户机然后直接复制到通过VSCode中Remote ssh连接的服务器）。

wget -P 安装路径 -c https://developer.nvidia.com/downloads/compute/cudnn/secure/8.9.6/local_installers/11.x/cudnn-linux-x86_64-8.9.6.50_cuda11-archive.tar.xz

解压命令如下，先使用unxz解压（去掉后缀.xz），在然后解压.tar文件。

unxz cudnn-linux-x86_64-8.9.6.50_cuda11-archive.tar.xz
tar -zxvf cudnn-linux-x86_64-8.9.6.50_cuda11-archive.tar

解压完成后进入解压文件夹，使用下列文件将cudnn相关文件复制到cuda文件夹下。

sudo cp include/cudnn*.h /usr/local/cuda/include/
sudo cp lib/libcudnn* /usr/local/cuda/lib64
sudo chmod a+r /usr/local/cuda/include/cudnn*.h /usr/local/cuda/lib64/libcudnn*

执行完毕后验证安装是否成功。

cat /usr/local/cuda/include/cudnn_version.h | grep CUDNN_MAJOR -A 2

出现相关信息，说明安装成功。