服务器跑pytorch代码，GPU显存正常但是利用率为0？

已于 2023-12-13 14:35:20 修改
阅读量3.4k 收藏 21
点赞数 9
文章标签： pytorch 人工智能 python
于 2023-12-13 12:50:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44766147/article/details/134969314
版权
文章探讨了num_workers设置过高导致GPU利用率下降的问题，分析了CPU瓶颈、IO瓶颈和系统资源竞争的影响。建议调整num_workers至合理值，并考虑关闭pin_memory以进一步提升性能。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

在这里插入图片描述

根本问题：num_workers=32，可能是过高
解决方法：将num_workers调整至8，一切恢复正常

导致 GPU 利用率为 0 的情况可能有几个原因：

CPU 瓶颈：设置过高的 num_workers 可能导致 CPU 资源过度竞争，尤其是在数据加载和预处理过程中。这可能会使 CPU 无法及时处理数据并将其发送到 GPU，从而造成 GPU 空闲等待数据，导致 GPU 利用率为 0。

IO 瓶颈：过多的 num_workers 也可能导致 IO 资源的竞争，尤其是在从磁盘读取数据时。如果系统 IO 能力有限，设置过多的 num_workers 可能会导致数据读取速度受限，进而影响到 GPU 的数据获取速度。

系统资源竞争：除了 CPU 和 IO，过高的 num_workers 还可能导致系统内存和其他资源的竞争，从而影响整体系统的稳定性和性能

更新

只改变num_workers问题没有解决，还需要将pin_memory设置为False

训练PyTorch模型时，GPU 利用率低且训练速度慢...如何解决？
**My Coding Family**
04-16 1022
🏆本文收录于《全栈Bug调优(实战版)》专栏，主要记录项目实战过程中所遇到的Bug或因后果及提供真实有效的解决方案，希望能够助你一臂之力，帮你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！ 备注：部分问题/疑难杂症搜集于互联网。
深度学习pytorch训练时候为什么GPU占比很低
xiamu_CDA的博客
10-25 1668
在深度学习领域，PyTorch 是一个非常受欢迎的框架，因其灵活性和易用性而备受青睐。然而，许多用户在使用 PyTorch 进行模型训练时，经常会遇到一个令人头疼的问题：GPU 占比很低。这不仅影响了训练效率，还可能导致资源浪费。本文将深入探讨这一问题的原因，并提供解决方案。
Pytorch训练时GPU利用率为0或很低
shimmer_ghq的博客
07-10 6625
pytorch训练时，显存明显上去了，模型和数据都在gpu上，但GPU利用率仍为0%
为什么你的显卡利用率总是0%？
CV_Autobot的博客
02-17 3132
作者|派派星 编辑| CVHub点击下方卡片，关注“自动驾驶之心”公众号ADAS巨卷干货，即可获取点击进入→自动驾驶之心【全栈算法】技术交流群为啥GPU利用率总是这么低上回说到，如何榨干GPU的显存，使得我们的模型成功跑起来了。但是，又一个问题来了，GPU的利用率总是一会99%，一会10%，就不能一直99%榨干算力？导致算力不能够完全利用的原因是数据处理的速度没有跟上网络的训练速度。因此，我...
训练神经网络，监测GPU发现显存占满但是GPU利用率基本为0？
qq_33980935的博客
05-08 8935
近日配置环境后终于可以开始跑GAN了，但是运行时发现GPU的利用率为0。上网百度了一下，有几种方法，尝试后发现可以这样做，在此记录。 实时动态监测GPU 在终端输入： watch -n 10 nvidia-smi 指定GPU 我只有一块0号GPU，所以就按照如下方式指定，虽说只有一块不指定的话应该也能跑，但是依照目前GPU的利用率，还是试试。 在代码中添加如下语句： os.environ["CU...
记autodl跑模型GPU CPU利用率骤变为0问题
ting
02-29 1716
虽然这个共享盘可以实现实例间的共享，还能冗余备份，保护咱们代码财产安全（博主就碰到过一次：刚改完代码跑着模型，服务器突然报下线维修，请联系客服...还好咱的程序都在共享存储盘上，没丢），但是。那当我们之前使用的卡被别人占用后，可以直接在租的新卡上访问该网络共享存储上的数据代码，就能省掉文件传来传去的冗余读写烦恼了。实验室服务器资源紧张，博主就自己在autodl上租卡跑了，autodl有一个网络共享存储，可挂载至同一地区的不同实例中，当我们在该地区创建实例开机后，将会挂载文件存储至实例的。
深度学习pytorch训练时候为什么GPU占比很低？
CDA_Happy的博客
12-27 1871
在深度学习领域，GPU的使用几乎是标配。然而，很多初学者在使用PyTorch进行模型训练时，经常会发现GPU的利用率并不高，这让人感到困惑。本文将深入探讨这一现象的原因，并提供一些解决方案，帮助你充分利用GPU资源，提高训练效率。
PyTorch GPU利用率为0%（很低）
qq_45831414的博客
01-12 9877
GPU core：CUDA core, Tensor Core ,integer, FP32 core，INT32 core等。以及 CUDA 驱动程序和兼容的 GPU 是否已正确安装且可以被 PyTorch 使用。可以反馈出GPU内核在过去的采样周期中一个或多个内核在 GPU 上执行的。安装的是 CPU 版本的 PyTorch，而非 GPU 版本。在运行代码的环境中，尽管系统中有合适的硬件和软件配置，没有安装 CUDA 或安装的 CUDA 版本不正确。硬件中没有支持 CUDA 的 NVIDIA GPU。
显存被占用，GPU利用率却为0，查看进程命令
weixin_45281687的博客
07-16 1295
【代码】显存被占用，GPU利用率却为0，查看进程命令。
显存占满、而GPU利用率为0的情况
赵凯月的博客
09-19 1万+
显存占满、而GPU利用率为0的情况 1、经查阅官方文档得知“在GPU上，tf.Variable操作只支持实数型（float16 float32 double）的参数。不支持整数型参数” 2、可能是定义在图中的op只能在CPU中运行，GPU不支持。加上代码中设置的参数allow_soft_placement = True，那么此时代码将模型加载到CPU上进行计算，因此会出现，参数加载到GPU中，但是GPU的利用率为0,CPU的利用率则很高。 ...
Pytorch使用cuda后，任务管理器GPU的利用率还是为0？
iiiiiiimp的博客
04-05 2万+
如果torch.cuda.is_available()为True，说明可以使用GPU，其实运行时是使用的GPU，可以用如下方法观察 法一：把GPU观察模式调整为CUDA 法二：按win+R→输入cmd→输入nvidia-smi
服务器——单个显卡的GPU占用比一直为100%（卡住了）的解决办法
Williamcsj的博客
12-06 3577
先输入 htop，进入任务管理器。然后找到对应进程，按F9，再按一下9。
pytorch 限制GPU使用效率详解(计算效率)
12-17
总的来说，虽然PyTorch本身不直接支持限制GPU使用效率，但通过调整计算间隔、优化数据加载和利用多GPU并行计算，我们可以有效地管理GPU资源，达到期望的训练效率。在实际应用中，应结合具体项目需求和硬件条件灵活...
Windows下Pytorch训练gpu占用率过低的问题
weixin_62586778的博客
03-17 947
查了很多，基本围绕num_workers, pin_memory。其中pin_memory设置了true，num_workers到2就broken pipe，只能设置0。今天用自己电脑跑训练，发现以下问题，cpu冒大烟，gpu抽大烟，动都不带动一下。准备用公司服务器跑了，自己电脑果然只能测通和不通。linux系统中可以使用。加载数据，windows系统里。
GPU显存占满利用率GPU-util为0
热门推荐
啷个哩个啷
09-10 4万+
1. ????问题描述 运行程序的时候提醒显存不够，查看了一下nvidia-smi，确实显存占满了，但是GPU-Util，gpu利用率有三个都是0，只有一个是56% 搜索后发现这个现象的原因还比较普遍，但是似乎没有几个可以很好解决这个问题， 参考： 脚本之家的文章：Pytorch GPU内存占用很高,但是利用率很低如何解决， 转载自CSDN博客：Pytorch GPU内存占用很高，但是利用率很低， ✅总结自CSDN博客：深度学习PyTorch，TensorFlow中GPU利用率较低，CPU利用率很低，且
Pycharm跑代码中途gpu利用率跌到0%程序假死状态
qq_20545303的博客
11-18 1470
状况如标题 解决方法： 1、卸载原来的tensorflow-gpu版本 2、重新安装稍微高级一些的tensorflow-gpu即可解决问题 Notes：本人CUDA9.0，tensorflow-gpu=1.8.0升级成tensorflow-gpu=1.12.0，此问题网上暂无相同案例，纯属本人侥幸成果 ...
问题 | GPU上训练时，显存占满，但是GPU利用率大部分情况为0%
weixin_43913042的博客
07-25 1万+
采用了网上很多方法都没有解决我的问题，比如修改batch_size，num_workers等，都没有解决我的问题。 修改超参的这些方法都是针对GPU利用率动态波动的情况 （动态查看GPU利用率的方法：watch -n 0.1 nvidia-smi） 但是基本一直为0的情况，并且在修改超参无果的情况下，就要考虑本身的代码问题了，要知道程序员必须谨记的一条规则就是（机器是不可能出错的，不要怀疑，一定是你的代码的问题） 而能跑，但是GPU利用率为0，说明是修改的数据集部分的bug，比如train_set，val_
linux gpu显存满了但是使用率为0
番茄锅涮代码
04-26 9322
在跑openpose的demo时，一开始能编译的 但是后来一直无法编译，发现显存满了，即使把程序关了，还是不行。 记一下怎么清显存。 nvidia-smi 查看gpu使用情况，发现gpu显存（memory-usage）满了，但是使用率（gpu-util）是0。 下面的进程可以看到有用了非常多显存的进程，记下PID kill -9 PID 把对应的进程杀掉就ok了。 gpu...
深度学习 占用gpu内存 使用率为0_深度学习的完整硬件指南
weixin_39599705的博客
11-20 2322
原标题 | A Full Hardware Guide to Deep Learning作者 | Tim Dettmers 译者 | linlh、呀啦呼（Tufts University）、Ryan222（重庆邮电大学）深度学习是非常消耗计算资源的，毫无疑问这就需要多核高速的CPU。但买一个更快的CPU有没有必要？在构建深度学习系统时，最糟糕的事情之一就是把钱浪费在不必要的硬件上。本文中我将一步一...
pytorch的gpu利用率低
最新发布
03-19
### 提高PyTorch程序的GPU利用率的方法 在处理PyTorch中的GPU利用率较低的问题时，可以从多个方面入手优化。以下是几个关键策略： #### 1. 调整数据加载方式 如果数据加载成为瓶颈，则可能会导致GPU闲置时间增加。因此，建议使用`DataLoader`并启用多线程数据预取功能以加速数据传输过程[^1]。 ```python train_loader = torch.utils.data.DataLoader( dataset=train_dataset, batch_size=64, shuffle=True, num_workers=8, # 使用更多CPU核心来加快数据准备速度 pin_memory=True # 将数据复制到页锁定内存中，从而更快地传递给GPU ) ``` #### 2. 设置可见的GPU设备数量 当需要控制具体哪些GPU被用于计算任务时，可以通过环境变量`CUDA_VISIBLE_DEVICES`指定可用的GPU列表。这有助于合理分配硬件资源，并减少不必要的竞争[^2]。 ```python import os os.environ['CUDA_VISIBLE_DEVICES'] = '0,3' # 只允许访问第0号和第3号GPU ``` #### 3. 手动管理显存缓存 为了防止因显存不足而导致性能下降，在适当时候调用`torch.cuda.empty_cache()`函数清理未使用的缓存空间是非常必要的措施之一[^3]。 ```python if torch.cuda.is_available(): device = torch.device('cuda') else: device = torch.device('cpu') model.to(device) for epoch in range(num_epochs): ... del inputs, targets, outputs, loss # 删除不再需要的对象 if torch.cuda.is_available(): torch.cuda.empty_cache() # 清理掉无用的临时张量占用的空间 ``` 通过上述方法的应用，能够有效提升PyTorch应用程序运行期间对于图形处理器的有效利用效率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值