kubernetes: ubuntu系统下pod申请nvidia GPU一段时间后，执行nvidia-smi报Failed to initialize NVML: Unknown Error的原因分析

已于 2023-05-20 13:59:54 修改
阅读量933 收藏
点赞数
文章标签： kubernetes ubuntu docker
于 2023-05-20 13:57:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_21816375/article/details/130780687
版权

现象

ss
docker 版本
docker version
docker 的 cgroupdriver=systemd
ss
查看驱动设备

ls -l /dev/nvidia*

sss
原因是因为： ubuntu系统自动更新后会执行 sysytem daemon-reload命令,导致挂载到容器里的cgroup处于不写状态 通过命令cat /sys/fs/cgroup/devices/devices.list查看，可以看到处于不可写的状态
de
复现issuse: https://github.com/NVIDIA/nvidia-docker/issues/1650

解决方案

修改docker的cgroupdriver为 cgroupfs重启docker
修改kubelet的cgroupdriver为cgroupfs后重启kubelet

相关issuse:
https://github.com/kubernetes/minikube/issues/10505
https://github.com/NVIDIA/gpu-operator/issues/430
https://github.com/NVIDIA/nvidia-docker/issues/1671
https://github.com/NVIDIA/nvidia-docker/issues/1678
查看 stat -fc %T /sys/fs/cgroup/

qinzhao168
关注
NVIDIA-SMI has failed because it couldn‘t communicate with the NVIDIA driver.Make sure that解决方案
weixin_43178406的博客
07-28 5万+
本文主要介绍了NVIDIA-SMI has failed because it couldn‘t communicate with the NVIDIA driver.Make sure that解决方案，希望能对使用NVIDIA GPU的同学们有所帮助。 文章目录 1. 问题描述 2. 解决方案
nvidia driver在ubuntu18.04上的安装 NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA
smcaa的博客
01-14 8968
 最近在学习pytorch，要训练神经网络，但是学习过程中难免要用到GPU这种天生为DL而生的东西。自己的电脑是thinkpad T480，NVIDIA MX150显卡，虽然这款显卡比不上工作站的专业显卡，但是在桌面系列中也算是中上水平了。    下面讲解如何在ubuntu18.04中安装N家的驱动了。如果仅仅简单的几行命令就能正确的安装N家的驱动我也就不写这个博客了。 言归正传，我们将介绍如...
Docker中Failed to initialize NVML: Unknown Error
ZnS_oscar的博客
10-29 6619
需要在服务器上docker的admin list之中. 不需要服务器整体的admin权限. 我在创建docker的时候向管理员申请了把握加到docker list当中了. 如果你能够创建docker你就满足这个条件了。在主机上nvidia-smi正常, 但是在docker上报错如标题.查看我的container_id, 然后使用。解决: 使用上述方法修改. 但是有一些不同。关闭我的container, 再使用。然后再重启我的container.
Ubuntu下安装NVIDIA-SMI
weixin_44487337的博客
08-27 764
显卡：gt1030系统：Ubuntu22.04。
ubuntu docker 里nvidia-smi 重启后可以，但过一阵（few days）报错（Failed to initialize NVML: Unknown Error）
weixin_44003119的博客
12-19 1653
ubuntu docker nvidia-smi 出现Failed to initialize NVML: Unknown Error，重启又好了
Failed to initialize NVML: Unknown Error
weixin_34249678的博客
09-20 8078
DellR740安装NVIDIA M60驱动程序，执行nvidia-smi命令，提示“Failed to initialize NVML: Unknown Error”。解决方法：https://www.dell.com/support/article/cn/zh/cnbsd1/sln308065/dell-poweredge14g-esxi%E5%B0%86%E8%BF%94%E5%9B%9E-...
在docker容器里执行nvidia-smi时，报错：Failed to initialize NVML: Unknown Error
qq_43546528的博客
04-16 773
具体原因在网上搜了很多，可能是由于驱动程序版本过旧导致的。解决办法：重启docker，即可正常解决。
【nvidia-smi报错】Failed to initialize NVML: Driver/library version mismatch
深海游鱼
10-12 2万+
今早查看服务器的cuda版本信息，使用nvcc -V命令提示command not found。我没多想，就按照网上给的方法执行了sudo apt install nvidia-cuda-toolkit，然后就报错了： >>> nvidia-smi Failed to initialize NVML: Driver/library version mismatch 我当场去世，上网一查可能是cuda被重装了，整个人都斯巴达了，赶忙采取补救措施。 >>> sudo dpk
Ubuntu系统下nvidia-smi 出现错误 Failed to initialize NVML: Driver/library version mismatch
qq_34937536的博客
03-08 2630
nvidia-smi报错 NVML: Driver/library version mismatch问题背景解决方案一、checking dmesg二、locate三、updatedb补充、总结 问题背景 系统：Ubuntu 16.04 LTS NOTE：每个人的问题都可能有差别，网上搜索时可以稍微对上号后再进行操作。 还有一般没有进行大面积改动（如我根本就没动怎么就报错了），问题的解决复杂度也应该不会很高。 主要是要装pytorch，想先查看一下nvidia-smi，结果出现如下错误： Failed to
nvidia-smi指令报错：Failed to initialize NVML: Driver解决 Ubuntu 清除缓存 apt-get命令参数
sinat_22510827的博客
12-20 531
分配的新电脑，ubuntu18.04系统，nvidia的驱动都装好了，但是使用指令： nvidia-smi 报错： Failed to initialize NVML: Driver/library version mismatch 安装gpustat也显示找不到gpu，且cuda，深度学习gpu均不行 原因是：NVIDIA 内核驱动版本与系统驱动不一致， 尝试调整系统的驱动版本： ubuntu桌面->左下角九宫格->software & update->ad..
nvidia-htop:一种丰富nvidia-smi输出的工具
08-05
用于丰富nvidia-smi输出的工具。 安装 pip3 install nvidia-htop 是的，这个工具自 2021 年以来一直在 PyPi 上！ 享受超级简单的安装方式。 用法 nvidia-htop.py [-l [length]] print GPU utilization with ...
Failed to initialize NVML:unknown error
weixin_44984715的博客
04-23 904
主要参考文章：https://muwaii.com/posts/cuda-nvidia-smi-nvml-driver-library-version-mismatch。免重启解决 NVIDIA-SMI 报错 Driver/library version mismatch。该方法仅在我所用的服务器上试过，可行，不知道是否具有泛化性。如果可以重启的话，网友说直接重启就可以。
有效解决：nvidia-smi报错Failed to initialize NVML: Unknown Error 且 print(torch.cuda.is_available())一直卡住
weixin_46344368的博客
04-09 4375
看了n篇博客和文章，没有一篇是靠谱的（至少不适用于博主本人遇到的情况），在寻求解决方法这个过程中博主总结了可能是驱动版本问题以及曾经安装的NVIDIA CUDA的影响。删除后要去找自己GPU适配的最新驱动并进行更新。
ubuntu 24.04 : Failed to initialize NVML: Unknown Error
最新发布
qq_34508123的博客
09-09 399
解决ubuntu 24.04 中docker使用gpu时出现如题错误。
windows10 Failed to initialize NVML: Unknown Error
blueiKON的博客
07-09 9364
** windows10 Failed to initialize NVML: Unknown Error ** 想查看自己的显卡信息，在cmd中输入命令nvidia-smi，显示不是内部或外部命令。尝试解决办法： 在nvidia官网上下载显卡驱动 ，结果输入命令还是一样报不是内部或外部命令。 把路径导入环境变量 发现找不到"C:\Program Files\NVIDIACorporation\NVSMI"文件夹，也没有.exe文件；NVSMI文件下载 解压文件夹 ，把路径导入环境变量； 输入nvidi
记录：Win nvidia-smi无法使用,Failed to initialize NVML: Unknown Error
weixin_43764295的博客
11-15 8787
遇到的问题是nvidia-smi无法使用，可以首先参考解决没有C:\Program Files\NVIDIA Corporation下没有NVSMI文件夹 并将路径添加到系统路径 之后，如果出现Failed to initialize NVML: Unknown Error 在C:\Windows\System32中找到与以上对应的文件复制到NVMSI目录下进行替换即可 ...
Failed to initialize NVML: Unknown Error 的解决方法——简记
热门推荐
专注于AI领域前沿技术学习与分享：目标检测、图像修复、超分重建、AI工程化
07-14 3万+
服务器环境： Windows Server 2012 R2 64位操作系统，基于x64的处理器 缘由： 升级服务器驱动之后，发现在cmd窗口下使用 nvidia-smi.exe相关命令查看GPU情况时，报错如下： Failed to initialize NVML: Unknown Error 额，网上查了一堆资料，回头发现250，难受 我认为可能有效的解决方法为： 步骤一：因为是新服务器，所以...
Caused by: org.datanucleus.exceptions.NucleusException: Attempt to invoke the "HikariCP" plugin to create a ConnectionPool gave an error : Failed to initialize pool: Unknown database 'metastore'
06-02
这个错误是由于尝试使用名为 "metastore" 的未知数据库来初始化连接池而引起的。可能是由于配置文件中指定的数据库名称不正确或数据库还没有被正确地创建。您可以检查配置文件中的数据库名称是否正确，并确保数据库已经正确地创建和启动。您也可以检查数据库是否已经设置了正确的权限和访问控制。如果问题仍然存在，请提供更多的错误日志和堆栈跟踪信息以帮助进一步排查。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值