未运行任何程序，GPU使用率却很高（解决方案）

最新推荐文章于 2025-04-30 19:00:00 发布
最新推荐文章于 2025-04-30 19:00:00 发布
阅读量1.6w 收藏 6
点赞数 3
分类专栏： 异常&错误 ubuntu 环境配置
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Willen_/article/details/119269323
版权

未运行任何程序，GPU使用率却很高

背景，服务器的电脑什么程序也没跑，而且查看显存占用也是0.很奇怪的是，显卡的使用率却很高，如下图所示
在这里插入图片描述
解决方法：

执行命令：nvidia-smi -pm 1

将驱动模式设置为常驻内存。

问题解决，如下图所示：

在这里插入图片描述

训练PyTorch模型时，GPU 利用率低且训练速度慢...如何解决？
**My Coding Family**
04-16 1179
🏆本文收录于《全栈Bug调优(实战版)》专栏，主要记录项目实战过程中所遇到的Bug或因后果及提供真实有效的解决方案，希望能够助你一臂之力，帮你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！ 备注：部分问题/疑难杂症搜集于互联网。
【原理分析】GPU的性能瓶颈与解决方案
AI天才研究院
07-17 3484
近年来，随着移动互联网、智能手环、手游的发展，物联网终端设备的普及率逐渐提升，对视频处理、图像识别等计算密集型任务的需求也越来越强烈。在这种情况下，高速并行计算能力（Graphics Processing Unit）显得尤其重要。为了加快处理速度，科技公司都选择部署基于图形处理器（Graphics Processing Unit，GPU）的系统，而设计更快、更省电的算法也是提升处理效率的一个关键因素。
未运行任何程序，GPU占用却很高
weixin_43400733的博客
07-20 626
问题：没有运行任何程序，GPU的memory-usage占了很高，导致现在运行模型会cuda out of memory。解决：目前还未解决，希望大佬们可以给一些建议。
解决英伟达GPU无运行程序利用率很高的情况
sxjcXiaomin的博客
04-25 1万+
Linux系统下安装好nvidia驱动后，在没有运行任何程序的情况下，发现GPU使用率很高，如图：   由图可见，其中一个K80的使用率99%   解决办法： 执行 nvidia-smi --persistence-mode=1   问题原因(官方解释)： A flag that indicates whether persistence mode is enabled for
【Ubuntu】GPU显存被占用，但显示没有使用GPU的进程
weixin_45800258的博客
02-20 1186
今天使用服务器的时候发现gpu被占了很多内存，但是使用 `nvidia-smi` 命令并没有发现占这么多显存的进程。通过将gpu视为文件，查看访问该文件的进程来找到问题进程，然后尝试杀死相关进程，最后将该用户下的进程一键杀死来解决问题。
未运行任何程序，GPU使用率却居高不下(接近100%)
sinat_28750977的博客
04-28 2万+
问题：从图中可以看出，没有任何GPU程序正在运行，但是第4块显卡的GPU-Util却到达了82%。解决方法：执行命令：nvidia-smi -pm 1将驱动模式设置为常驻内存。结果：...
Gpu占用率100%电脑Gpu占用高的解决方法
MaYuntpkf的博客
08-27 8530
总结：电脑GPU占用率过高的问题可能由多种原因引起，包括驱动程序、硬件故障或过热等。通过检查驱动程序、硬件问题、程序问题、优化游戏设置、重新安装驱动程序以及检查其他硬件等方法，可以有效地解决这个问题。当我们发现电脑的GPU占用率达到了100%，并且GPU占用率过高时，可能会遇到各种问题，如电脑运行缓慢、游戏性能下降等。这通常是由于程序或驱动程序错误、硬件故障或过热等问题导致的。请注意，在执行任何可能导致数据丢失或系统损坏的操作之前，最好备份重要数据。此外，如果你不确定如何操作，最好寻求专业人士的帮助。
ubuntu未运行程序，但是Volatile GPU-Util显示100,GPU利用率显示很高
天天放羊的博客
12-13 3051
问题描述：ubuntu未运行程序，但是Volatile GPU-Util显示100,GPU利用率显示很高 如下图显示： 解决方法： 需要把驱动模式设置为常驻内存 sudo nvidia-smi -pm 1 之后invidia-smi查看，显示正常。
求助解决服务器gpu没有运行进程，但是显存一直占用
qq_44752694的博客
12-01 260
试过，使用fuser -v /dev/nvidia*但是这张显卡下面并没有进程。如上图所示，gpu没有运行进程，但是显存一直占用。
Yolov11训练数据集时怎样可以提高cpu和Gpu的使用？
**My Coding Family**
03-12 1283
🏆本文收录于《全栈Bug调优(实战版)》专栏，主要记录项目实战过程中所遇到的Bug或因后果及提供真实有效的解决方案，希望能够助你一臂之力，帮你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！
图神经网络训练与GPU调动的问题：使用图神经网络（GNN）时，尽管 GPU 显存占满，但是 GPU 利用率低，如何解决？
最新发布
**My Coding Family**
04-30 904
🏆 本文收录于《全栈Bug调优(实战版)》专栏，致力于分享我在项目实战过程中遇到的各类Bug及其原因，并提供切实有效的解决方案。无论你是初学者还是经验丰富的开发者，本文将为你指引出一条更高效的Bug修复之路，助你早日登顶，迈向财富自由的梦想🚀！同时，欢迎大家关注、收藏、订阅本专栏，更多精彩内容正在持续更新中。让我们一起进步，Up！Up！Up！    备注： 部分问题/难题源自互联网，经过精心筛选和整理，结合数位十多年大厂实战经验资深大佬经验总结所得，数条可行方案供所需之人参考。
如何监控和改进用于深度学习的 GPU 使用率？
weixin_50197960的博客
10-13 2716
如果您刚刚为您的下一个很棒的深度学习项目购买了一些漂亮的闪亮 GPU，并且已经开始工作。您可以听到风扇呼呼的声音（或者您可以想象它们在云中某处呼呼），但您如何确保充分利用这些 GPU？下面我们将介绍一些可用于监控 GPU 的工具。检查它们的利用率、温度和内存使用情况。我们将介绍如何安装它们，它们最擅长什么，以及如何使用它们的一些技巧。通过确保充分利用 GPU，您至少可以确保它们尽可能快地运行现有模型（更改模型以使其尽可能高效是另一个话题）。
GPU无进程但显存占用
weixin_46214675的博客
01-26 1541
上面这个命令会将所有包含 /debug 字符串的、正在使用 NVIDIA GPU 的进程的 PID 号写入到 pids_to_kill.txt 文件中，而不是直接杀死这些进程。所以就捣鼓了一下，写成blog造福大家！为了保险起见我将要杀死的进程的 PID 号保存到一个文件中，而不是直接杀死它们，当然也是可以做到。这个命令会读取 pids_to_kill.txt 文件中的每一行（也就是每一个 PID），然后杀死对应的进程。grep /debug 是查找命令里面的关键字区分，哪一组是正在跑，哪一组是死掉了的。
解决gpu没有运行进程，但是显存一直占用的方式
热门推荐
大鱼的博客
10-19 4万+
通常情况下，停止进程显存会释放 但是如果在不正常情况关闭进程，可能不会释放，这个时候就会出现这样的情况： Mon Oct 19 16:00:00 2020 +-----------------------------------------------------------------------------+ | NVIDIA-SMI 410.104 Driver Version: 410.104 CUDA Version: 10.0 | |-------
nvidia-smi 无进程占用GPU，但GPU显存却被占用了很多
Arthur_Holmes的博客
06-17 1332
转载地址：https://blog.csdn.net/qq_33547191/article/details/86263859 下图是我当时遇到的问题 如上图，GPU1 显示占用了10G多的显存，但是却没有相应的进程。此时可使用如下命令查...
排查GPU无进程但显存占用
小鹏AI
03-02 705
找到对应进程ID并删除。
查询GPU时无进程运行，但是显存却被占用了
呆呆象呆呆的博客
02-24 2万+
查询GPU时无进程运行，但是显存却被占用了 1、具体表现 nvidia-smi或者gpustat无进程在GPU上运行，但GPU显存却被占用了 2、造成原因 应该是存在僵尸进程，已经运行完毕或者卡死，但是内存没有释放，处于挂起状态 3、解决方案 3.1 方案一 重启电脑 3.2 方案二 如果电脑不能重启，那就通过命令行： fuser -v /dev/nvidia* 或者有管理员权限的时候 sudo fuser -v /dev/nvidia* 可以看到对应的设备，是有进程的。 最后就用kill命令行杀掉相
GPU占用率100%，但是没有进程
qiqisunshine的博客
07-13 2764
gpu占用100%但没有进程
多个GPU显存占用很高，但是利用率为0
04-03
### 多GPU显存占用高但利用率低的原因 在深度学习任务中，当观察到多个GPU的显存占用较高而利用率较低时，通常涉及以下几个方面的原因： #### 1. **数据加载速度不足** 如果`Dataloader`中的`num_workers`设置过低，可能导致CPU的数据预处理能力无法满足GPU的需求。这使得GPU大部分时间处于等待状态，从而导致利用率低下[^5]。 #### 2. **内存访问模式不优** 显卡性能受内存访问模式影响显著。非连续的内存访问会增加延迟并降低带宽利用效率。此外，频繁访问全局内存而非共享内存也会加剧这一问题[^3]。 #### 3. **批大小（Batch Size）不合适** 较小的批大小虽然能减少显存消耗，但也可能使计算资源得不到充分利用。这是因为现代GPU架构设计倾向于大规模并行运算，在小批量情况下难以发挥其优势[^1]。 #### 4. **模型复杂度与硬件匹配不当** 某些模型结构可能存在大量轻量级操作或控制流分支，这些特性不适合高度并行化的GPU执行环境，进而造成资源浪费[^4]。 ### 解决方案 针对上述原因，可采取如下措施提升多GPU场景下的整体效能： #### 调整数据管道配置 合理设定`Dataloader`参数，特别是将`num_workers`调整至接近于系统可用CPU核心数量的一半左右，并启用`pin_memory=True`选项以加速主机到设备间的数据传递过程[^2]。 #### 优化存储子系统交互方式 重构代码逻辑以便更多采用连续区块式的访存策略；对于重复使用的中间结果考虑缓存在本地快速暂存区(shared memory)内而不是每次都重新从远程较慢位置(global memory)获取。 #### 修改训练超参组合 尝试增大batch size直至达到合理的平衡点——既能有效填充所有SM单元又能维持足够的剩余空间用于其他必要开销如梯度累积等。 #### 审视网络定义细节 检查是否存在过多串行依赖关系的操作节点以及不必要的条件判断语句，尽可能简化拓扑连接形式使之更加适合当前所选用的具体型号规格之特点。 通过综合运用以上几种手段往往能够显著改善实际运行效果。 ```python import torch from torch.utils.data import DataLoader, Dataset class CustomDataset(Dataset): def __init__(self, data): self.data = data def __len__(self): return len(self.data) def __getitem__(self, idx): sample = self.data[idx] # Add any necessary preprocessing here return sample dataset = CustomDataset(your_data) # Optimize dataloader settings data_loader = DataLoader( dataset, batch_size=your_optimal_batch_size, shuffle=True, num_workers=min(16, os.cpu_count()), # Adjust based on your system's CPU core count pin_memory=True # Enable pinned (page-locked) memory to speed up host-to-device transfers ) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值