NVIDIA-SMI has failed because it couldn‘t communicate with the NVIDIA driver解决方案

报错原因

• centos或ubuntu内核升级，导致之前低版本的内核所安装的驱动失效，因此报错
• 现象是nvidia-smi显卡显示界面异常

解决方案

• 查看当前内核可以支持的版本或已经安装的驱动版本（升级过程安装的有点问题）
  • ls /usr/src | grep nvidia
  • 我的版本是525.89.02
• 针对此版本，利用dkms修复驱动bug
  • 安装dkms
    • yum install -y epel-release
    • 安装kernel-headers, kernel-devel，dkms
    • yum install -y kernel-headers kernel-devel dkms
    • sudo apt-get install dkms
  • 修复驱动版本
    • 查看内核yum list | grep kernel-devel --> 3.10.0-1160.92.1.el7
    • 执行下面命令，注意加参数–force，否则更新不了
      • dkms install --force --no-depmod -m nvidia -v 525.89.02 -k 3.10.0-1160.90.1.el7.x86_64
  • 验证：nvidia-smi，显示正常
  • 在之前如果安装过cuda, 此时查看cuda是否配置好，要么修改环境变量，要么重新cuda