ubuntu大模型GPU版本安装及部署

版本查看：

nvidia-smi

离线下载地址：

下载 NVIDIA 官方驱动 | NVIDIA (选型)

Linux x64 (AMD64/EM64T) Display Driver | 535.146.02 | Linux 64-bit | NVIDIA(选型结果)

下载 NVIDIA 官方驱动 | NVIDIA

apt-get update

禁用nouveau(nouveau是通用的驱动程序)必须

sudo gedit /etc/modprobe.d/blacklist.conf 或者(blacklist-nouveau.conf) 如果找不到 就用vim 进行编译

在打开的blacklist.conf末尾添加如下保存文本关闭

blacklist nouveau

options nouveau modeset=0

注意：lsmod | grep nouveau 为空说明设置完毕

sudo apt-get install g++

sudo apt-get install gcc

sudo apt-get install make

sudo apt-get install dkms

sudo apt install libqt5qml5 libqt5quick5 libqt5quickwidgets5 qml-module-qtquick2

sudo apt install libgsettings-qt1

ubuntu-drivers devices

sudo apt install nvidia-utils-535 (nvidia-smi在线安装)

成功截图

cuda 选型

https://developer.nvidia.com/cuda-downloads （选型）

wget https://developer.download.nvidia.com/compute/cuda/12.3.2/local_installers/cuda_12.3.2_545.23.08_linux.run

sudo sh cuda_12.3.2_545.23.08_linux.run

上面会弹框出画面，直接向下切换选项，点界面 install 选项进行安装即刻

sudo apt-get install cuda-toolkit 标黄的俩项最后再装，先看是否安装成功

sudo apt-get install cuda-drivers

环境变量设置：

添加

export PATH="/usr/local/anaconda3:$PATH"

export CUDA_HOME=/usr/local/cuda

export LD_LIBRARY_PATH=${LD_LIBARY_PATH}:${CUDA_HOME}/lib64

export PATH=${CUDA_HOME}/bin:${PATH}

source

source ~/.bashrc

注：名词解释

ubuntu-drivers devices 查看显卡硬件支持的驱动类型（在使用前需要sudo apt update更新源）

nvidia-smi 查看当前显卡驱动（若没有会返回错误，该命令应为显卡驱动自动安装，切勿按照提示手动安装）

nvcc -V 查看系统安装的cuda驱动（注意这是系统当前使用的cuda驱动，也可以同时存在多个cuda，使用conda+pytorch可以在多个虚拟环境中管理不同的cuda版本）