NVIDIA-SMI has failed because it couldn‘t communicate with the NVIDIA driver. Make sure that the lat

在前面配置了cuda12.1后（配置CUDA12.1），驱动出了问题

第一个问题解决

常规方案

解决方案1

解决方案2

重启一下就好了

第二个问题解决方案

又报错

Failed to initialize NVML: Driver/library version mismatch
NVML library version: 535.129

原因：NVIDIA 内核驱动版本与系统驱动不一致

查看系统驱动cat /proc/driver/nvidia/version

查看已经安装的驱动nvidia-detector

解决方案：卸载现有驱动，重新安装

卸载驱动

sudo apt-get remove --purge nvidia*
sudo apt autoremove

直到sudo dpkg --list | grep nvidia-*不显示内容

重新安装

我在本地下载了.run驱动文件，传递到服务器上面去。

scp -r cuda_12.0.1_525.85.12_linux.run  s@192.168.30.125:/data

sudo chmod a+x cuda_12.0.1_525.85.12_linux.run
sudo ./cuda_12.0.1_525.85.12_linux.run

解决方案