ubuntu20.04 k8s nvidia-device-plugin： failed to initialize NVML

最新推荐文章于 2024-04-11 10:43:28 发布
最新推荐文章于 2024-04-11 10:43:28 发布
阅读量1.4k 收藏
点赞数
分类专栏： k8s 文章标签： kubernetes linux 运维
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cike_liu/article/details/127648192
版权

部署k8s时其中一台机器ubuntu20.04无法获取到显卡数据，其他ubuntu16.04机器可以正常获取显卡数据

主机上可以正常看到显卡信息

 

1.查看pod日志

错误：Failed to initialize NVML: could not load NVML library.

 

2.进入docker

单独启动报同样的错

看一下nvidia-smi

找不到libnvidia-ml.so错误

 

 

加载这个库启动libnvidia-ml.so 试试

成功起来

3.猜测原因可能是docker在ubuntu20.04上运行没有价值nvidia相关的库，考虑启动前先执行ldconfig加载库 

4.修改nvidia-device-plugin的yml 文件的启动方式启动前先执行ldconfig

 5.重新部署后正常

litart coder
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
Failed to initialize NVML 长效解决方法
weixin_43480227的博客
06-23 2071
如何持久解决Failed to initialize NVML: Driver/library version mismatch问题保留驱动安装包例如NVIDIA-Linux-x86_64-470.82.01.run。 出现问题时 禁止内核自动更新 [参考]资料(https://blog.csdn.net/weixin_36277054/article/details/116607488?spm=1001.2101.3001.6650.1&utm_medium=distribute.pc_relevant.
Ubuntu20.04离线部署nvidia-docker
04-22
在Ubuntu 20.04系统中离线部署NVIDIA Docker是为无互联网连接的环境构建GPU加速的Docker容器的关键步骤。NVIDIA Docker允许你在Docker容器内充分利用NVIDIA GPU的计算能力，这对于进行深度学习、机器学习以及其他...
Failed to initialize NVML: could not load NVML library解决
vah101的专栏
10-26 4145
报错： 2020/10/26 07:47:20 Failed to initialize NVML: could not load NVML library. nvidia-kubevirt-gpu-device-plugin: symbol lookup error: nvidia-kubevirt-gpu-device-plugin: undefined symbol: nvmlDeviceGetCount_v2 需要下载cuda包，可以到： https://developer.nvidia.c
记NVIDIA显卡A100在K8S POD中“Failed to initialize NVML: Unknown Error“问题解决
jiageibuuuyi的博客
02-01 5665
因项目原因需要在k8s上跑GPU相关的代码，优选使用NVIDIA A100显卡，但在根据官方文档简单并部署后，出现了pod中GPU运行一段时间后丢失的问题，进入容器后发现nvidia-smi命令报错"Failed to initialize NVML: Unknown Error"。尝试删除并且重建容器后，刚开始nvidia-smi命令正常，但是在大约10秒过后，重复出现以上异常。
解决：安装NVIDIA推荐驱动报错、nvidia-smi报错 Failed to initialize NVML
菜鸡AI
05-28 5804
解决：安装NVIDIA推荐驱动报错、nvidia-smi报错 Failed to initialize NVML: Driver/library version mismatch 文章目录解决：安装NVIDIA推荐驱动报错、nvidia-smi报错 Failed to initialize NVML: Driver/library version mismatch微信交流群：前言：1、nvidia-smi报错2、分析3、解决方案3.1 删除旧驱动3.2 知道版本安装3.3 检验 微信交流群： 我建立了1组C
【已解决】Failed to initialize NVML: Driver/library version mismatch NVML library version: 535.161
最新发布
BetrayFree的博客
04-11 1万+
分配的新电脑，ubuntu18.04系统，nvidia的驱动都装好了，但是使用指令： nvidia-smi报错： Failed to initialize NVML: Driver/library version mismatch安装gpustat也显示找不到gpu，且cuda，深度学习gpu均不行 …解决此问题的一种方法是更新或回滚 NVIDIA 驱动程序，以使其与当前安装的 NVML 库版本匹配。上面4个方法是我都一一尝试过的，我用的系统是ubuntu的，具体方法也都是在知乎和csdn找的。
Ubuntu20.04-nvidia-nvidia-docker离线资源
07-22
标题“Ubuntu20.04-nvidia-nvidia-docker离线资源”表明，这个压缩包包含了在Ubuntu 20.04操作系统上安装和使用NVIDIA Docker所需的离线资源。Ubuntu 20.04，也被称为Focal Fossa，是Ubuntu的一个长期支持（LTS）...
ubuntu20.04下docker及nvidia-docker安装包
01-29
toolkit_1.5.1-1_amd64.deb nvidia-docker2_2.6.0-1_all.deb 2）docker:containerd.io_1.6.26-1_amd64.deb，docker-buildx-plugin_0.11.2-1~ubuntu.20.04~focal_amd64.deb，docker-ce_24.0.7-1~ubuntu.20.04~focal_...
Ubuntu20.04离线安装openssh-server.rar
09-26
Ubuntu20.04离线安装openssh-server 安装步骤： sudo dpkg -i libssl1.0.0_1.0.2n-1ubuntu5.7_amd64.deb sudo dpkg -i openssh-client_8.4p1-6ubuntu1_amd64.deb sudo dpkg -i openssh-sftp-server_8.4p1-6ubuntu1...
ubuntu20.04离线升级openSSH-8.8
01-22
在Ubuntu 20.04系统中，OpenSSH是一个至关重要的组件，用于提供安全的远程登录和其他基于SSH协议的服务。由于网络安全的不断演变，保持OpenSSH的最新版本至关重要，因为新版本通常会修复已知的安全漏洞并引入新的...
Detected non-NVML platform: could not load NVML: libnvidia-ml.so.1: cannot open shared object
牛奔的博客
10-18 929
前言 在 kubernetes 中配置 https://github.com/NVIDIA/k8s-device-plugin 时， 报错：Detected non-NVML platform: could not load NVML: libnvidia-ml.so.1: cannot open shared object 解决 kubernetes 使用运行时 docker，需要编辑通常存在...
执行nvidia-smi命令报Failed to initialize NVML: Driver/library version mismatch错误
a319506345的博客
05-27 6472
Failed to initialize NVML: Driver/library version mismatch
Failed to initialize NVML: Driver/library version mismatch
Hoshea_sun的博客
12-08 558
服务器显卡驱动与内核
Ubuntu18.04 NVIDIA解决Failed to initialize NVML: Driver/library version mismatch
weixin_42421591的博客
05-22 1246
在跑isaacgym的legged robot的时候，发现显卡挂掉了，不能用CUDA，因此使用nvidia-smi来查看显卡信息，没有出现显卡信息，但出现下面的错误 Failed to initialize NVML: Driver/library version mismatch 这表明内核驱动与系统驱动不匹配 查看驱动的内核版本 cat /proc/driver/nvidia/version 这一步可以看到内核版本kernel module的版本，我的是510.60.02 通过
Nvidia显卡Failed to initialize NVML Driver/library version mismatch错误解决方案
weixin_54104864的博客
11-07 5214
最近GPT比较火，开始折腾了一下gpu,用来跑项目：今天运行程序突然发现用不了，经排查应该是由于NVIDIA内核驱动版本与系统驱动版本不一致导致的。下面简单总结了这个错误的解决方案。
Failed to initialize NVML: Driver/library version mismatch问题剖析
04-30 4151
在执行nvidia-smi的时候报出这个错误，虽然解决办法异常简单，只需要重启一下电脑即可，但是对于错误的原因还是做一下分析和扩展，总是在期望会有意想不到的收获，哈哈。 什么是NVML？ The NVIDIA Management Library (NVML) is a C-based programmatic interface for monitoring and mana...
Nvidia 显卡 Failed to initialize NVML Driver/library version mismatch 错误解决方案
m0_64720568的博客
04-12 1974
3.问题原因就是之前的nvidia的内核版本是530 物理机的驱动版本是525，将nvidia的内核版本降至525即可解决问题。操作完上述步骤后需要重启物理机、如果是docker内出现错误操作完上述步骤后需要重启docker。出现这个问题的原因是nvidia内核版本和驱动版本不匹配导致的。这里我原来的内核版本是530 ，现在是正常的525版本。发现4月8号系统的驱动更新到了525版本。3.安装525版本的driver。1.查看nvidia内核版本。2.查看物理机的驱动更新日志。
解决 Failed to initialize NVML: Driver/library version mismatch
YYyyy
04-27 2474
错误详情：linux输入nvidia-smi查看显卡使用情况时，报错：Failed to initialize NVML: Driver/library version mismatch   解决方案： sudo rmmod nvidia_drm sudo rmmod nvidia_modeset sudo rmmod nvidia_uvm sudo rmmod nvidia   如果出现：rmmod: ERROR: Module nvidia is in use，使用 sudo lsof /dev/.
解决Failed to initialize NVML: Driver/library version mismatch
热门推荐
Chauncey_Wang的博客
06-22 1万+
shell输入nvidia-smi 出现了 Failed to initialize NVML: Driver/library version mismatch 查了几个教程，号称原因是NVIDIA 内核驱动版本与系统驱动不一致 如何解决？ 首先是重启，就是这么离谱，不少教程下面都出现了重启大法好的呼唤，别问了，问就 sudo shutdown -r now 如果没有成功，参考Ubuntu中Failed to initialize NVML: Driver/library versi.
ubuntu 20.04.2 nvidia-driver-470 教程
05-01
Ubuntu 20.04.2是一款流行的操作系统，而Nvidia Driver 470则是Nvidia公司发布的一款显卡驱动程序。这里向大家介绍一下Ubuntu 20.04.2安装Nvidia Driver 470的教程。 首先，需要确保你的电脑上已安装Ubuntu 20.04.2操作系统。如果没有可以前往Ubuntu官网进行下载和安装。 第二步，打开终端（terminal）输入以下命令，更新系统软件包： sudo apt update && sudo apt upgrade 第三步，安装Nvidia Driver 470的依赖项： sudo apt install build-essential dkms linux-headers-$(uname -r) 第四步，删除系统中已有的旧版本Nvidia驱动程序： sudo apt purge nvidia* 第五步，从Nvidia官网下载最新版本的Nvidia Driver 470驱动程序，通过以下命令进行安装： sudo sh ./NVIDIA-Linux-x86_64-470.xx.run （注意：这里的“470.xx”代表具体版本号，需要根据实际下载的驱动版本进行替换） 第六步，Nvidia驱动程序安装完成后，通过以下命令进行验证： nvidia-smi 如果出现类似以下信息，说明安装成功： NVIDIA-SMI 470.57 Driver Version: 470.57 CUDA Version: 11.4 最后，重启系统即可生效。 在安装过程中，如出现任何错误或问题，建议前往Ubuntu官网或Nvidia官网查看相关解决方案。
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值