ubuntu 手动更换库文件解决nvcc -V和nvidia-smi不一致

问题现象

笔主在训练之前想查看gpu占用情况，使用watch -n 1 nvidia-smi发现：

且在推理、训练时无法使用到显卡。

问题排查

cat /proc/driver/nvidia/version查看当前显卡驱动版本，可以看到显卡驱动是560.35.03：

而NVML库版本是565.57，确实不匹配。
笔主并没有手动更新，那么是如何触发这种更新机制的？了解到nvml并不会自动更新，但在一种情况下除外，那就是你使用的是anaconda的cudatoolkit进行管理的。
使用 cat /var/log/dkpg.log | grep nvidia查看nvidia驱动的变更情况，发现最后一次变更就在刚刚不久，那时我并没有进行更新呐！

笔者有多个cuda版本库，查看当前使用的是哪一个？

限制

1. 一是要关闭anaconda 自动更新toolkits这种机制，防止再次出现这种问题。
2. 因为本机是宿主机中一docker，所以无法通过升级驱动的方式进行解决，只能降低nvml库版本解决问题。

解决

禁止自动更新

• conda config --set channel_priority strict限制更新通道
• sudo apt-mark manual <package-name>将其标记为手动安装，禁止自动更新。

降低库版本

nvml 库文件一般在/usr/lib/x86_64-linux-gnu/中，查找一下。

1. 删除旧版本 sudo rm libnvidia-ml.so.1
2. 新建链接 sudo ln -s libnvidia-ml.so.xxx libnvidia-ml.so.1 这里，需要根据你的显卡驱动版本进行创建软链接。

这里我已经进行了替换，它原本指向565.57.01，我做了一个软链接。

再次查看nvidia-smi，已经可以啦。