Failed to initialize NVML: Driver/library version mismatch

Failed to initialize NVML: Driver/library version mismatch

nvidia-smi
Failed to initialize NVML: Driver/library version mismatch

原因

linux服务器上使用apt install gpustat时候，自动安装了libnvidia-compute-550，导致显卡驱动和计算软件包的版本不一致

~查看显卡驱动版本

cat /proc/driver/nvidia/version
NVRM version: NVIDIA UNIX x86_64 Kernel Module  525.116.04  Thu Apr 27 17:56:37 UTC 2023
GCC version:  gcc version 9.4.0 (Ubuntu 9.4.0-1ubuntu1~20.04.1) 

~查看软件包版本

dpkg -l | grep nvidia
rc  libnvidia-compute-550:amd64          550.54.14-0ubuntu0~gpu20.04.1     amd64        NVIDIA libcompute package

可以看到显卡驱动和计算软件包的版本不一致

解决

不用尝试重新安装驱动，只需要把安装的软件包卸载就可以。

使用如下命令卸载：

dpkg -r libnvidia-compute-550

如果卸载不了，尝试如下命令：

apt-get remove --purge libnvidia-compute-550

卸载完之后，显卡正常显示

nvidia-smi
Sat Jun  1 01:51:16 2024       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.116.04   Driver Version: 525.116.04   CUDA Version: 12.0     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |