CUDA安装版本出现驱动mismatch问题

已于 2024-09-14 12:17:22 修改
阅读量467 收藏 5
点赞数 3
文章标签： cuda
于 2024-09-14 10:40:24 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/cold_code486/article/details/142251644
版权

问题描述

在给V100显卡集群安装cuda11.8版本后出现nvidia指令调用与NVML版本不匹配问题
nvidia-smi
Failed to initialize NVML: Driver/library version mismatch
在这里插入图片描述

解决方式

Step1 查看显卡驱动

dpkg -l | grep nvidia

在这里插入图片描述发现显卡驱动程序有两个版本：535.104.05、520.61.05
一般只要保留一个即可

Step 2 查看系统NVRM版本

cat /proc/driver/nvidia/version

在这里插入图片描述

Step 3 卸载nvidia

sudo apt-get purge nvidia*

Step 4 重装驱动

https://download.nvidia.com/XFree86/Linux-x86_64/
在上述地址中找到自己想要安装的驱动版本号
作者这里选择了535.129.03

wget https://download.nvidia.com/XFree86/Linux-x86_64/535.129.03/
bash NVIDIA-Linux-x86_64-535.129.03.run

常用显卡指令

# 查看主机已有cuda版本
ls -l /usr/local | grep cuda
dpkg -l | grep cuda
# 安装特定cuda版本
wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2004/x86_64/cuda-ubuntu2004.pin
sudo mv cuda-ubuntu2004.pin /etc/apt/preferences.d/cuda-repository-pin-600
wget https://developer.download.nvidia.com/compute/cuda/11.8.0/local_installers/cuda-repo-ubuntu2004-11-8-local_11.8.0-520.61.05-1_amd64.deb
sudo dpkg -i cuda-repo-ubuntu2004-11-8-local_11.8.0-520.61.05-1_amd64.deb
sudo cp /var/cuda-repo-ubuntu2004-11-8-local/cuda-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cuda
Failed to initialize NVML: Driver/library version mismatchNVML library version: 570.124
NLP与推荐算法
03-28 2182
sudo apt purge nvidia-* libnvidia-* # 清除所有 NVIDIA 驱动及库文件。，但系统中可能存在另一个版本的驱动库文件（如 570.124），导致版本冲突。：部分系统需禁用 Secure Boot 才能加载 NVIDIA 驱动。：若在 Docker 中报错，检查容器内驱动版本是否与宿主机一致。：系统中安装了多个版本的 NVIDIA 驱动，导致版本冲突。：系统内核升级后，NVIDIA 驱动未重新编译适配。：更新驱动后未重启系统，旧版本的内核模块仍在运行。
ubuntu下安装多版本cuda及版本切换教程
zeeq的博客
10-27 3万+
首先，从官网下载所需版本的cuda安装包，下载链接。选择对应版本后，会跳转到该版本的配置信息页面。比如我是ubuntu20.04系统，已经安装好了cuda10.0，但是现在还需要用到cuda9.0。那么，在选定版本后，配置信息如下图所示（由于Version选项中没有20.04，因此我们随便选一个即可，这里选的16.04，这一选项不会影响后面的安装），Installer Type选择为runfile（因为使用deb文件进行安装的话，可能会将已经安装的较新的显卡驱动给替换掉），选择好之后点击Base Insta
CUDA版本冲突完全解决方案：从驱动崩溃到完美兼容的终极指南
学子的博客
02-20 435
【代码】💥CUDA版本冲突完全解决方案🔥：从驱动崩溃到完美兼容的终极指南。
5. NVIDIA驱动版本与CUDA版本对应关系
冷漠的博客
03-03 2万+
NVIDIA驱动版本与CUDA版本对应关系
Nvidia Docker:CUDA_ERROR_SYSTEM_DRIVER_MISMATCH (大坑)
Felaim的博客
04-26 3601
WARNING:tensorflow:From /usr/Downloads/keda/Documents/fanrongrong/docker/gaze_coorection_train_0426/train/ghost_module.py:61: The name tf.Session is deprecated. Please use tf.compat.v1.Session in ...
解决CUDA_ERROR_SYSTEM_DRIVER_MISMATCH
shaojie_wang的博客
11-03 1496
nvidia/cuda:11.4.2-cudnn8-devel-ubuntu20.04:CUDA_ERROR_SYSTEM_DRIVER_MISMATCH问题查看解决 问题 在运行一个调用cudnn库的程序时，运行时报错，错误就是：CUDA_ERROR_SYSTEM_DRIVER_MISMATCH。这个东西很无语。不知道原因是什么。我使用的docker：nvidia/cuda:11.4.2-cudnn8-devel-ubuntu20.04。 查看 这个问题就是和libcuda的版本相关，可以先查看nvidi
Failed to initialize NVML: Driver/library version mismatch (解决)
页页读
07-19 1805
运行nvidia-smi报错
Windows 10 CUDA 11.7升级11.8指南
ChinaLiaoTian的博客
01-27 2896
PyTorch CUDA
2023.05.30-ubuntu22.04多卡服务器卸载cuda重新安装（踩坑不断版本）
熊猫小妖的AI世界
06-01 2391
NVIDIA 官方文档了解 CUDA、CUDNN 和 TensorRT 的安装流程和配置方法，请见。
linux安装p100驱动,CentOS安装Nvidia驱动和CUDA ToolKit
weixin_30273813的博客
05-18 2142
配置有GPU的云服务器或物理机需要安装正确的驱动软件才能够使用，以NVIDIA Tesla GPU为例，需要安装Tesla显卡驱动作为硬件驱动程序，还需要安装CUDA作为上层应用程序所需要的库。本文以Centos系统+Tesla P100 GPU为例，展示GPU驱动和CUDA的安装过程。Centos 安装 Tesla DriverCentos上安装Tesla驱动有两种方式：Shell脚本安装，适用...
Cuda Toolkit 工具包安装（Linux服务器）：nvidia-smi报错：Failed to initialize NVML: Driver/library version mismatch
weixin_56821435的博客
11-27 985
Linux安装cudatooklit，nvidia-smi报错：Failed to initialize NVML解决，安装最新的 NVIDIA 驱动
NVIDIA 驱动和 CUDA 版本信息速查
chaishen10000的专栏
01-20 6681
使用 nvidia-smi 看到的 CUDA 版本，通常就是这个驱动在上表里对应的 CUDA 版本，例如内核驱动版本是 470 的话，看到的 CUDA 版本就是 11.4。之前和 NVIDIA 驱动和 CUDA 搏斗比较多，因此记录一下一些常用信息，方便查询。里面写了 CUDA 11.x 可以兼容 NVIDIA >= 450。显卡的 Compute Capability 可以在。可能被占用以外，还需要用 lsof 检查。如果发现 rmmod 失败，可以。编译选项与显卡对应关系。
CUDA版本与显卡驱动版本对照表（更新至2022.10.26 - CUDA11.8）
热门推荐
liferecords的博客
10-26 8万+
更新2022-10-26-CUDA11.8注：当前所有版本要求均为CUDA官方提供如需转载，请注明出处。更多优质内容，可点击进行阅读学习。
win10+cuda11.8+cudnn8.6.0安装
weixin_46135891的博客
03-28 5011
复制cudnn-windows-x86_64-8.6.0.163_cuda11-archive文件夹下的bin、include、lib文件夹，粘贴到cuda11.8的安装目录C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v11.8中。打开Anaconda控制台 -> 激活安装了gpu版本的pytorch的环境 -> 输入以下命令 -> 两个True成功返回说明cuda和cudnn安装成功。3、确认cuda11.8是否安装成功。下载后傻瓜式安装即可。
下载cuda和cudnn（11.8版本）
weixin_70285813的博客
05-29 4万+
官方教程。
【nvidia-smi】Failed to initialize NVML: Driver/library version mismatch 解决方法(不用重启)
梦想是要有的，万一实现了呢！
05-29 4157
使用 sudo rmmod nvidia_drm 去掉nvidia_modeset的依赖，然后再执行：sudo rmmod nvidia_modeset 就不会报错了。再执行 sudo rmmod nvidia。如果上述操作解决不了，采用下面的解决办法。当前是nvidia_drm占用依赖，使用上面命令关闭掉当前正在运行的进程。现在需要一点点卸载部分依赖。版本并没有出现不匹配情况。2、查看系统NVRM版本。3、重新加载nvidia。
已解决【nvidia-smi】Failed to initialize NVML: Driver/library version mismatch解决方法
努力才是唯一的入场券。
05-11 2万+
已解决（亲测有效）【nvidia-smi】Failed to initialize NVML: Driver/library version mismatch解决方法
【nvidia-smi】Failed to initialize NVML: Driver/library version mismatch
weixin_57974242的博客
08-13 2215
这意味着系统中安装的驱动包与正在使用的内核模块版本不匹配，导致了 GPU 驱动问题。可以看到目前系统安装的 NVIDIA 驱动包版本是。，但是内核模块显示的版本是。
解决nvidia-smi “Failed to initialize NVML: Driver/library version mismatch”
jingjm00的博客
01-26 8046
根据网上类似问题的线索，大概率是自动升级后library立即更新，而driver由于是kernal module不会自动运行新版本导致两者不匹配。今天发现有如下错误。什么也不需要做，reboot 后 driver version 就更新了。在下文可以看到reboot后driver已更新到。原来的设定如下，我把。这个问题还是挺常见的，在此主要记录一下我遇到的具体情况。不是工作时段，很可能是自动完成的。已经安装了，只是运行的还是旧版本。都改了，不知道是否管用。，和NVML保持一致了。这里不是很确定是否正确。
linux更新cuda版本
最新发布
04-04
<think>嗯，用户现在想了解如何在Linux上更新CUDA版本。首先，我需要确定用户的需求是什么。他们可能是在进行深度学习或者GPU加速计算时遇到了需要更新CUDA的情况。可能的原因包括现有的CUDA版本太旧不支持新的软件，或者他们安装的框架如TensorFlow、PyTorch需要特定版本的CUDA支持。 接下来，用户之前的问题是关于sudo权限的问题，现在转向CUDA更新，说明他们可能在尝试安装或更新CUDA时遇到了权限问题，但现在的问题更侧重于如何正确更新版本，而不仅仅是权限。不过，我需要确保在回答中提到可能需要sudo权限，特别是如果用户之前的问题还没有完全解决的话。 首先，我应该回顾CUDA是什么。CUDA是NVIDIA的并行计算平台和API模型，允许开发者使用NVIDIA GPU进行通用计算。更新CUDA通常涉及到卸载旧版本，安装新版本，并确保驱动兼容。 用户可能需要的步骤包括检查当前CUDA版本，确定需要安装的新版本，处理驱动兼容性，卸载旧版本，安装新版本，以及验证安装是否正确。此外，用户可能还需要更新环境变量，以确保系统使用新的CUDA路径。 需要注意的是，CUDA版本与NVIDIA驱动版本之间有依赖关系。新版本的CUDA可能需要更新的驱动程序支持，而旧驱动可能不支持新CUDA。因此，在更新CUDA之前，可能需要先更新NVIDIA驱动，或者确认当前驱动是否支持目标CUDA版本。 另外，用户可能使用不同的包管理方式，比如通过NVIDIA的.run文件安装，或者使用包管理器如APT。不同的安装方法会影响卸载和安装的步骤。例如，使用APT安装的CUDA可能更容易通过包管理器更新，而手动安装的.run文件可能需要手动卸载。 还需要考虑用户是否安装了多个CUDA版本，并可能需要管理不同版本之间的切换。这时候，使用符号链接或者环境变量（如PATH和LD_LIBRARY_PATH）来指定当前使用的版本是常见的做法。 可能的陷阱包括驱动不兼容，安装过程中断导致系统不稳定，或者环境变量配置错误导致应用程序无法找到正确的CUDA版本。因此，在指导用户时，需要强调备份重要数据，按照官方文档操作，并在每一步后进行验证。 用户可能不知道如何检查当前CUDA版本，或者混淆了CUDA运行时版本和驱动版本。因此，在回答中需要明确说明如何正确检查这些信息，例如使用nvcc --version和nvidia-smi命令的区别。 另外，用户可能希望保留旧版本的CUDA，以便某些应用程序仍然可以使用旧版本。这时候，指导用户如何安装多个CUDA版本并切换使用是有必要的。 最后，考虑到用户之前遇到的sudo权限问题，需要确保在更新CUDA的步骤中，所有需要管理员权限的命令都正确使用sudo，并且用户已经解决了sudo权限的问题，否则他们可能再次遇到权限错误。</think>--- ### **Linux 系统更新 CUDA 版本的完整指南** CUDA（Compute Unified Device Architecture）是 NVIDIA 推出的 GPU 并行计算平台，广泛用于深度学习、科学计算等领域。更新 CUDA 版本需谨慎操作，以下是详细步骤和注意事项： --- ### **1. 确认当前 CUDA 版本** 在更新前，先检查系统已安装的 CUDA 版本和驱动状态： ```bash # 查看 CUDA 运行时版本（由开发工具包提供） nvcc --version # 查看 GPU 驱动支持的 CUDA 版本（由 NVIDIA 驱动提供） nvidia-smi ``` - 示例输出：右上角显示 `CUDA Version: 12.2`，表示驱动支持的最高 CUDA 版本。 --- ### **2. 确定目标 CUDA 版本** - **兼容性要求**： - **NVIDIA 驱动版本**：新 CUDA 版本需要更高版本的驱动支持。例如： - CUDA 12.x 需要驱动 ≥ 525.60.13 - CUDA 11.x 需要驱动 ≥ 450.80.02 - 具体对应关系参考 [NVIDIA 文档](https://docs.nvidia.com/cuda/cuda-toolkit-release-notes/index.html)。 - **深度学习框架依赖**：如 PyTorch、TensorFlow 对 CUDA 版本有明确要求。 --- ### **3. 更新 NVIDIA 驱动（可选）** 如果当前驱动不支持目标 CUDA 版本，需先升级驱动： ```bash # 查看推荐驱动版本（Ubuntu/Debian） ubuntu-drivers devices # 安装推荐驱动 sudo apt install nvidia-driver-535 # 替换为推荐版本 ``` 或通过官方源安装： ```bash # 添加 NVIDIA 官方 PPA sudo add-apt-repository ppa:graphics-drivers/ppa sudo apt update sudo apt install nvidia-driver-535 ``` **重启系统生效**： ```bash sudo reboot ``` --- ### **4. 卸载旧版 CUDA** #### **通过 apt 安装的 CUDA** ```bash # 列出已安装的 CUDA 包 sudo apt list --installed | grep cuda # 卸载特定版本（例如 cuda-11-8） sudo apt purge cuda-11-8* sudo apt autoremove ``` #### **通过 .run 文件安装的 CUDA** 手动删除安装目录和环境变量： ```bash sudo rm -rf /usr/local/cuda-11.8 # 替换为实际路径 # 编辑 ~/.bashrc 或 ~/.profile，删除 CUDA 环境变量 ``` --- ### **5. 安装新版本 CUDA** #### **方法一：使用官方 .run 文件（推荐自定义安装）** 1. 访问 [CUDA Toolkit 下载页](https://developer.nvidia.com/cuda-toolkit-archive)，选择目标版本。 2. 下载并运行安装脚本： ```bash wget https://developer.download.nvidia.com/compute/cuda/12.2.2/local_installers/cuda_12.2.2_535.104.05_linux.run sudo sh cuda_12.2.2_535.104.05_linux.run ``` 3. **安装选项**： - 取消勾选驱动（若已单独更新）。 - 选择安装路径（默认 `/usr/local/cuda-12.2`）。 #### **方法二：通过 apt 仓库安装（Ubuntu/Debian）** 1. 添加 CUDA 仓库： ```bash wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/x86_64/cuda-keyring_1.1-1_all.deb sudo dpkg -i cuda-keyring_1.1-1_all.deb sudo apt update ``` 2. 安装 CUDA： ```bash sudo apt install cuda-12-2 # 替换为目标版本 ``` --- ### **6. 配置环境变量** 更新用户环境变量（以 `~/.bashrc` 为例）： ```bash echo 'export PATH=/usr/local/cuda-12.2/bin${PATH:+:${PATH}}' >> ~/.bashrc echo 'export LD_LIBRARY_PATH=/usr/local/cuda-12.2/lib64${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}' >> ~/.bashrc source ~/.bashrc ``` --- ### **7. 验证安装** ```bash # 检查 CUDA 编译器版本 nvcc --version # 运行示例代码测试 cd /usr/local/cuda-12.2/samples/1_Utilities/deviceQuery sudo make ./deviceQuery ``` 输出 `Result = PASS` 表示安装成功。 --- ### **8. 多版本 CUDA 管理（可选）** 通过软链接动态切换版本： ```bash sudo rm -f /usr/local/cuda sudo ln -s /usr/local/cuda-12.2 /usr/local/cuda ``` --- ### **常见问题解决** #### **驱动与 CUDA 版本不兼容** - 错误提示：`Failed to initialize NVML: Driver/library version mismatch` - 解决：重启系统或升级驱动。 #### **nvcc 命令未找到** - 检查环境变量是否包含 CUDA 的 `bin` 目录。 #### **CUDA 安装冲突** - 彻底卸载旧版本：`sudo apt purge cuda* nvidia*`。 --- ### **附加建议** 1. **生产环境**：优先使用长期支持版本（如 CUDA 11.8、12.2）。 2. **容器化部署**：使用 NVIDIA Container Toolkit 在 Docker 中隔离 CUDA 环境。 3. **文档参考**： - [CUDA 官方文档](https://docs.nvidia.com/cuda/) - [PyTorch CUDA 版本匹配表](https://pytorch.org/get-started/locally/) 按此流程操作可确保 CUDA 版本更新安全可靠。如果遇到具体错误，请提供完整终端输出以便进一步分析。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

恭仔さん

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值