程序运行中显卡驱动掉线，重启能恢复但问题仍频出，如何解决

最新推荐文章于 2024-07-12 18:54:22 发布
最新推荐文章于 2024-07-12 18:54:22 发布
阅读量822 收藏 1
点赞数
文章标签： ubuntu 服务器 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_26821217/article/details/131466561
版权

环境

Server: Ubuntu 22.04.2 LTS (GNU/Linux 5.15.0-76-generic x86_64)
GPU: nvidia 4090

解决思路

明确问题，排查原因

观察法

  • nvidia-smi -l记录保存到文件，回溯问题原因，温度尚可，功率也正常。排除可能的散热问题。

  • s-tui可以追踪功率变化，帮助排查电源问题（可能性通常较小，不建议优先考虑）。

实验法（可能的解决方案）
  • 增加ups设备保障供电稳定（该情况其实很少发生，但是因为实验室发生过类似问题故考虑其中）
  • 卸载重装显卡驱动：按照教程卸载干净后重装
  • 内核更新禁用：参考文章

以上方法均无法解决该问题，但过程中有发现：按照标准流程安装驱动后，运行nvidia-smi 依然会出现问题：
NVIDIA-SMI has failed because it couldn't communicate with the NVIDIA driver. Make sure that the latest NVIDIA driver is installed and running.
但是通过命令ll /usr/src/ 能找到已安装的驱动文件，也可通过dpkg -l | grep nvidia 确认已安装相应版本驱动。
因此在驱动安装成功的基础上，排除内核不匹配的可能原因之后，很可能是通信本身的问题（尤其是nvcc也可正常搜到，万事俱备只欠东风），通过继续检索，一篇文章的评论里提醒到我：关闭 secure boot !
尝试进入bios后disable secure boot（一般在settings 的security里面）之后，在没有重装驱动的情况下，nvidia-smi可以正常运行，故此推测是这个设定影响了主板和显卡的通信（仅瞎猜，欢迎将可靠的解释分享在评论区）。

itaowei
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
定时监视exe程序运行状态，可对监视exe程序进行关闭重启，定时重启exe程序
08-27
这个工具主要用于解决应用程序在运行过程中可能出现的异常终止或死机问题，通过自动化的方式来恢复程序的正常运行，从而减少人工干预的需求。 首先，让我们深入了解什么是exe程序。EXE是可执行文件的扩展名，代表...
浅谈解决802.11n网络规划中3C问题的方法
01-19
802.11n的到来使无线局域网（WLAN）领域发生了根本性的转变。...对于局域网络管理主要工作之一，对于铺设电缆或是检查电缆是否断线这种耗时的工作，很容易令人烦躁，也不容易在短时间内找出断线所在。再者，由于
nvidia-smi 的坑。
docker做了端口映射却不能访问
03-15 2264
运维监控 GPU 的alive的存活状态 发现了一下一些坑 1 供电不足导致 gpu掉线。 我们用的是 1080， 结果功率低于500W， 不足以支撑 gpu，风扇，等配套硬件的功率， 所以导致gpu掉线。 最后，增加供电功率。 2 nvidia-smi 检查存活状态及温度时， 命令延迟 nvidia-smi 这条命令就一直卡在那， 最后借用 timeout 这个命令， 超时自动ki...
显卡掉驱动 不用重启
mixboot
07-23 1746
显卡掉驱动 不用重启显卡驱动正常调出禁止系统更新 # fuser -v /dev/nvidia* USER PID ACCESS COMMAND /dev/nvidia-uvm: root 1106505 F.... lotus-miner /dev/nvidia0: root 1106505 F...m lotus-miner /dev/nvidiactl: root 1106505 F.
Windows XP下卸载驱动重启后又恢复的问题解决
狂客队长
03-10 8636
近日，对一上网本进行了系统的安装，使用无线网络一直处于正在连接的状态，查看了官方的说法后，发现安装的无线网卡的驱动版本是有问题的，就想到要卸载现在的驱动，安装最新的驱动，在卸载后再次重启后，又被自动安装回了原来的驱动。        结果查询了一些资料，发现是因为这个目录（C:\Windows\System32\DRVSTORE）下有刚才卸载了的旧的网卡驱动存在，在重启后windows的驱动安装
ubuntu16.04掉显卡驱动解决方法
xiaohuhu11的博客
05-19 7856
1.首先去英伟达官网下载自己版本的驱动 我下载的是 NVIDIA-Linux-x86_64-430.14.run 为了方便，我们把驱动复制到自己的家目录 cp ~/Download/NVIDIA-Linux-x86_64-430.14.run ~/ 2.切换到纯命令模式(ctrl+alt+f1),登录 3.关闭lightdm service sudo service lightdm stop 4....
【Ubuntu 20 掉显卡驱动的解决办法】
hxb971002的博客
06-16 1453
nvidia-smi。
ubuntu突然显卡消失
zz2230633069的博客
05-26 5654
1.主要原因是ubuntu的内核发生改变，可能安装环境和软件的时候，系统内核也更新了 2.自己的电脑r5 2600x gtx1080举例，中途BIOS里面开了超频设置，导致即使重装显卡驱动也会一直卡在build kernel module 100%这个界面上面。所以要恢复之前安装驱动的时候的bios状态，才可能装好 3.重装驱动，详情可以参考本人的另外一篇ubuntu循环登入问题 ...
公司局域网连接的ADSLModem经常掉线重启可恢复正常
10-01
标题所述的问题是公司内部局域网使用ADSL Modem上网时遇到的常见故障，即ADSL Modem频繁掉线，但通过重启设备可以暂时恢复网络连接。这种情况可能由多种因素引起，下面我们将深入探讨可能的原因及相应的解决方案。 ...
路由器掉线需要不断重启解决方案
10-01
上网一段时间后就莫名其妙的掉线了关闭稍等一会儿再开启又正常了，路由器掉线需要不断重启该怎么办，接下来为大家介绍下详细的解决方法，感兴趣的朋友可以参考下哈，希望可以帮助到你
当PLC在运行过程中出现问题该如何解决.docx
04-19
《当PLC在运行过程中出现问题该如何解决》 PLC（可编程逻辑控制器）在工业生产中的广泛应用，使得理解和解决PLC运行中出现的问题显得尤为重要。本文将深入探讨如何有效地诊断和处理PLC运行中遇到的各种故障。 首先...
ubuntu20.04显卡驱动掉了之后重装出现的各种问题
热门推荐
weixin_47571196的博客
04-11 1万+
问题描述： 装完驱动配置好环境隔了一段时间打开Ubuntu发现装好的驱动又掉了，nvidia-smi查找不到驱动。根据网友的经验应该是Ubuntu 自己升级了内核导致的，所以重启进到ubuntu高级（开机引导选项的第二个），选择低版本的内核进入ubuntu发现还是没有驱动，所以跟内核升级无关。 ...
Ubuntu 18.04 掉显卡（安装显卡后，突然发现电脑无法使用副屏，并且出现显卡掉了）
大家好我说家盛
04-08 3656
独显和集显切换 ubuntu-drivers devices #查看自己的显卡及可以安装的显卡驱动版本 (base) smile@smile-X3-S-Series-GK7MR0R:~$ ubuntu-drivers devices WARNING:root:_pkg_get_support nvidia-driver-510-server: package has invalid Support PBheader, cannot determine support level WARNING:root
Centos系统错误-nvidia驱动掉的情况
qq_44637477的博客
10-24 732
这是由于重启服务器，linux内核升级导致的，由于linux内核升级，之前的Nvidia驱动就不匹配连接了，但是此时Nvidia驱动还在，可以通过命令 nvcc -V 找到答案。如果没有 nvidia-470. 82.01 这类文件，那么则需根据nvidia驱动下载安装教程进行centos系统的驱动安装。到了这里，如果你安装成功，那么恭喜你，此时输入nvidia-smi就会成功连接了。可以看到有一个nvidia的文件，我这里是 nvidia-470.82.01。
关于Ubuntu多显卡服务器，掉显卡的问题
Elysion_Daniel的博客
12-24 5035
前几天公司斥巨资买了台8卡服务器，3080ti，算是非常新的电脑了吧，送来的时候装了Ubuntu，估计是服务器版，开机就是命令行，虽然我觉得还好，但是老板还是让装个桌面，方便大家玩儿。 直接说现象，就是跑了个训练后，在nvidia-smi的界面上会看到，突然掉了一个卡，然后再训练，还会继续掉，非常费解，找来服务器人员，也很费解，也找不到有用的日志。 后来他意外发现掉卡的时候，系统也会爆一个错，追溯了一下，和nouveau有关，我们都很奇怪，这个不是屏蔽了么...
nvidia驱动挂掉
Darren的博客
04-03 1236
nvidia驱动挂掉
ubuntu运行qq音乐闪退
Q95470的博客
07-03 527
该文件有可能是只读，权限不够的话用sudo vim qqmusic.desktop。
ubuntu18.04创建共享文件夹
最新发布
shilininiya的博客
07-12 94
接下来按照other locations/computer/etc/fstab打开fatab文件，在文件的最后一行添加以下内容保存退出。再按照other locations/computer/mnt/hgfs的路径，发现共享文件夹已经出现。在创建共享文件夹的过程中，走了一些复杂的弯路，接下来将简单的方法记录存档。在关机模式下打开虚拟机的选项设置，选择共享文件夹添加合适的路径点击确认。在win10端拖入文件刷新即可看到，至此共享文件夹创建完毕。的提示，查询了很多解决方法无果后创建共享文件夹来解决此问题。
Ubuntu22.04系统装好后左上角下划线闪烁不开机（N卡）
qq_31638535的博客
07-09 227
Ubuntu系统安装
请写一个c++语言的程序监听RPC服务程序状态是否崩溃或者掉线，如果掉线则对他重启
09-25
### 回答1： 以下是一个简单的C语言程序，用于监听RPC服务程序状态是否崩溃或掉线，并在掉线时重启服务： ``` #include <stdio.h> #include <stdlib.h> #include <unistd.h> int main() { while (1) { //检测RPC服务程序是否在运行 if (system("pgrep rpc_service") != 0) { //RPC服务程序已经崩溃或掉线，执行重启操作 printf("RPC服务程序已经崩溃或掉线，开始重启...\n"); system("systemctl restart rpc_service"); } //每隔一段时间进行一次检测 sleep(60); } return 0; } ``` 该程序会在一个无限循环中，每隔一段时间检测RPC服务程序是否在运行。如果检测到RPC服务程序已经崩溃或掉线，程序会输出一条提示信息，并执行重启操作。重启操作使用系统命令`systemctl restart rpc_service`来执行，你需要替换这个命令为你实际使用的命令。 请注意，这只是一个简单的例子，实际情况中需要根据具体的RPC服务程序和操作系统环境进行适当的修改。同时，该程序需要在后台持续运行，可以通过nohup命令或者将程序作为系统服务来实现。 ### 回答2： 下面是一个用C语言编写的程序，用于监听RPC服务程序的状态是否崩溃或掉线，并在掉线时对其进行重启。 ```c #include <stdio.h> #include <stdlib.h> #include <string.h> #include <unistd.h> #include <errno.h> #include <sys/types.h> #include <sys/wait.h> int main() { char rpcCommand[] = "<RPC服务程序命令>"; // 替换为你的RPC服务程序的命令 int restartInterval = 60; // 重启间隔时间（秒） int restartCount = 0; // 重启次数计数器 while (1) { // 检查RPC服务程序是否正在运行 FILE *fp = popen("pidof <RPC服务程序名称>", "r"); // 替换为你的RPC服务程序的名称 char pidStr[16]; fgets(pidStr, 16, fp); pclose(fp); if (strlen(pidStr) <= 1) { // RPC服务程序未运行 printf("RPC服务程序已掉线。\n"); restartCount++; if (restartCount > 3) { // 重启次数超过3次，则退出程序 printf("重启次数已达上限，程序退出。\n"); break; } // 重启RPC服务程序 printf("重启RPC服务程序...\n"); int status = system(rpcCommand); if (WIFEXITED(status) && WEXITSTATUS(status) == 0) { printf("RPC服务程序已重启。\n"); sleep(restartInterval); // 等待重启完成 } else { printf("RPC服务程序重启失败，程序退出。\n"); break; } } else { // RPC服务程序正在运行 printf("RPC服务程序正常运行。\n"); sleep(restartInterval); // 间隔一段时间再次检查 } } return 0; } ``` 使用时请将 `<RPC服务程序命令>` 替换为实际的RPC服务程序的命令，`<RPC服务程序名称>` 替换为实际的RPC服务程序的名称。程序会循环检查RPC服务程序的运行状态，如果发现掉线，则尝试重启。重启次数超过3次后，程序会退出。 注意，这只是一个简单的示例程序，实际的应用场景可能需要更复杂的错误处理和日志记录机制。 ### 回答3： 要监听RPC服务程序的状态是否崩溃或掉线，并对其进行重启，可以按照以下步骤编写一个C语言程序： 1. 导入所需的头文件： ```c #include <stdio.h> #include <stdlib.h> #include <string.h> #include <unistd.h> #include <sys/types.h> #include <sys/wait.h> ``` 2. 创建一个函数来检测RPC服务程序的状态： ```c int checkRPCStatus() { int status; pid_t pid = fork(); if(pid == 0) { // 执行RPC服务程序的检测指令 exit(system("rpcstatuscommand")); } else if(pid > 0) { // 等待子进程执行完毕 waitpid(pid, &status, 0); } else { printf("无法创建子进程\n"); return -1; } // 检查子进程的返回状态 if(WIFEXITED(status) && WEXITSTATUS(status) == 0) { // RPC服务程序正常运行 return 0; } else { // RPC服务程序崩溃或掉线 return -1; } } ``` 3. 创建一个函数用于重启RPC服务程序： ```c void restartRPC() { pid_t pid = fork(); if(pid == 0) { // 执行重启RPC服务程序的指令 exit(system("rpcrestartcommand")); } else if(pid < 0) { printf("无法创建子进程\n"); } // 等待子进程执行完毕 wait(NULL); } ``` 4. 在主函数中循环监听RPC服务程序的状态并重启： ```c int main() { while(1) { if(checkRPCStatus() < 0) { printf("RPC服务程序崩溃或掉线，正在重启...\n"); restartRPC(); printf("RPC服务程序已成功重启。\n"); } // 每隔一段时间再次检测状态 sleep(5); } return 0; } ``` 以上是一个简单的C语言程序示例，用于监听RPC服务程序状态是否崩溃或掉线，并在掉线时对其进行重启。实际使用时，需要根据具体的RPC服务程序和重启命令进行配置。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值