显存占满GPU利用率很低可能原因及改进方案

已于 2022-09-23 00:43:03 修改
阅读量4.6k 收藏 1
点赞数
分类专栏： # 目标检测 # 动手学深度学习 文章标签： 深度学习
于 2022-09-23 00:41:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Highlight_Jin/article/details/127002722
版权
本文将深入探讨显存占满导致GPU利用率低的常见原因，如内存管理问题、优化算法等，并提供针对性的改进方案，帮助提升GPU性能利用效率。同时涉及Linux中磁盘空间使用与100%占用的解决办法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

GPU显存占满利用率GPU-util奇低
李响
12-02 8685
如上图。 但是有显存占用说明模型应该是在跑的。后来既然GPU利用不起来，我干脆同时跑多个模型，想充分利用，但是效果还不是很明显，速度依然都很慢。 查了查资料发现可以在Dataloader里加pin_memory=True, num_workers=8，这样能将数据放入显存，并且通过多线程减少数据读入的时间，模型训练速度会快一些。但是我试了试也没有明显的效果，就很奇怪。 当然也试过增大batch size，但是治标不治本。 问题原因 所以到底为什么导致了这个原因呢？ 后来我偶然为了减小最后的tensorbo.
训练PyTorch模型时，GPU 利用率低且训练速度慢...如何解决？
最新发布
**My Coding Family**
04-16 1039
🏆本文收录于《全栈Bug调优(实战版)》专栏，主要记录项目实战过程中所遇到的Bug或因后果及提供真实有效的解决方案，希望能够助你一臂之力，帮你早日登顶实现财富自由🚀；同时，欢迎大家关注&&收藏&&订阅！持续更新中，up！up！up！！ 备注：部分问题/疑难杂症搜集于互联网。
GPU显存占满但利用率却很低
liu13364876993的博客
11-22 1万+
说到底还是不够有钱，这样也好，多出来的内存还能再让我跑跑别的程序！
用GPU跑深度学习代码，GPU和CPU的利用率都低于10%
weixin_48278908的博客
03-24 375
大矩阵乘法耗时 7.2 秒（正常情况下应该是 1~2 秒以内）nvidia-smi监控到 GPU 利用率始终低于 10%已确认 PyTorch 是，CUDA 和驱动正常说明代码已经在 GPU 上运行，但 GPU 没有真的全力计算。
GPU显存满了, 但是GPU利用率很低
cunyizhang的博客
06-18 3万+
训练效率低？GPU利用率上不去？快来看看别人家的tricks吧～ batch size太小，导致模型的并行化程度太低。还有你的cpu、内存/显存带宽性能不足。
关于GPU显存占满（即memory usage 很大），但GPU-util很小，导致模型训练很慢
oneself的博客
12-07 8949
关于GPU显存占满（即memory usage 很大），但GPU-util很小，导致模型训练很慢
深度学习程序占用GPU显存，但计算利用率低的可能原因
weixin_42649288的博客
08-08 1391
nvidia-smi查看GPU情况明明显存和使用率充足，但运行代码后计算利用率（GPU-Util）始终很低。网上查了很多资料说是CPU读写操作太多，但排查后发现主要时间用在模型的前向传播过程。但watch nvidia-smi又发现只有短时间GPU计算利用率不是0%。最后顺手kill掉一些占用GPU的程序，把显存都释放了，发现可以正常运行了，记录下提醒自己及时kill掉因为ctrl+c未及时释放GPU的程序。显存余量越多代码算得越快，太少了会把程序卡死，不过好像算是计组的常识。
gpu服务器，训练模型时显存满了，但gpu利用率很低，模型训练速度也很低
www22691的博客
08-17 4312
用gpu服务器训练模型时，发现显存满了，但gpu利用率很低，且周期性变化，比如0-25-45，都不高，同样的代码在另一台服务器上，利用率是90多，且模型训练速度也很低，迭代起来一卡一卡的。 在dataloader中增加num_workers什么的，都不管用，最后发现，我加载的数据放到home（sda）下了，正确应该放到另一个移动硬盘中（sdb） 如果你和我的情况一致，建议你复制数据到sdb中，同时修改dataloader中的数据目录，修改后，我的服务器gpu利用率直接到90多，且速度很快。 ...
实践教程｜GPU利用率低常见原因分析及优化
小舟的博客
03-28 698
本文的 GPU 利用率主要指 GPU 在时间片上的利用率，即通过 nvidia-smi 显示的 GPU-util 这个指标。统计方式为：在采样周期内，GPU 上面有 kernel 执行的时间百分比。
TensorFlow 显存占用率高 GPU利用率低
ProLayman的博客
07-18 1万+
nvidia-smi指令 命令位置： 所以Path中添加环境变量： C:\Program Files\NVIDIA Corporation\NVSMI 试验一哈： 要注意的点： Driver Version和CUDA Version不是一回事 CUDA Version实际是环境变量中Path配置的，如果一台机器同时装了多个CUDA，那么这里的CUDA Version显示的是Path中靠前的C...
TensorFlow学习- GPU显存占满而利用率（util）很低原因&提高方法
m0_38064529的博客
11-20 2万+
2080的显卡，跑YOLOv3，显存已经满了，显卡利用率却只有7% 百度了一圈，看到几篇比较靠谱的博客，直接贴链接 参考1 TensorFlow如何提高GPU训练效率和利用率 ...
GPU高显存占用、低使用率的原因分析过程
y4ung
04-26 1万+
今天在训练模型的时候，发现GPU的显存都快满了，但是GPU的利用率很低，基本是隔几秒才会到100%，然后马上恢复为0。 如下图所示。训完一个epoch要一天左右，心态都给我整崩了 在网上找到了一些不错的资料： 训练效率低？GPU利用率上不去？快来看看别人家的tricks吧～ 深度学习PyTorch，TensorFlow中GPU利用率较低，CPU利用率很低，且模型训练速度很慢的问题总结与分析 GPU: high memory usage, low GPU volatile-util 猜测在train函数
在训模型的时候如果遇到显存占用了，但是后面的GPU利用率不高的情况，可能是因为什么？
Angelina_Jolie的博客
07-03 3941
解决上述问题的方法包括：优化数据传输过程、增大训练批量（前提是显存允许）、选择更复杂的模型、优化同步操作、提升IO速度、升级GPU或降低模型和批量的大小等。：在训练过程中，数据需要从CPU传输到GPU。：如果模型的计算复杂度低（比如模型较小，或者模型的运算并不复杂），那么GPU的计算能力可能没有被充分利用。：如果数据从磁盘读取到内存的速度跟不上模型的训练速度，也会使GPU在等待新的数据时空闲，从而降低利用率。：显存不足会限制网络的大小和批量大小，甚至可能导致无法运行网络，也会导致GPU利用率低。
【已证实】训练神经网络时，GPU利用率低而显存占用率高的思考
qq_39333636的博客
05-19 1万+
训练网络的时候遇到了这个问题，通过查资料和同学交流等方式，有了一点自己的思考，和大家分享。
GPU显存占满利用率GPU-util为0
热门推荐
啷个哩个啷
09-10 4万+
1. ????问题描述 运行程序的时候提醒显存不够，查看了一下nvidia-smi，确实显存占满了，但是GPU-Util，gpu利用率有三个都是0，只有一个是56% 搜索后发现这个现象的原因还比较普遍，但是似乎没有几个可以很好解决这个问题， 参考： 脚本之家的文章：Pytorch GPU内存占用很高,但是利用率很低如何解决， 转载自CSDN博客：Pytorch GPU内存占用很高，但是利用率很低， ✅总结自CSDN博客：深度学习PyTorch，TensorFlow中GPU利用率较低，CPU利用率很低，且
Zero volatile GPU-Util but high GPU Memory Usage，tensorflow训练时候显存占满，但是执行效率很低，GPU使用率很低。
u012743859的博客
03-05 1万+
Tensorflow 调用GPU训练的时候经常遇见 ，显存占据的很大，但是使用率很低，也就是Zero volatile GPU-Util but high GPU Memory Usage。 网上找到这样一个答案，意思就是自己run 的很多东西是没有用的，但是会占据大量显存。 后来找到问题了， 这两个语句，是针对所有的data_x data_y 操作的，而这两个部分又比较大（大概几百兆）所
查询GPU时无进程运行，但是显存却被占用了
呆呆象呆呆的博客
02-24 2万+
查询GPU时无进程运行，但是显存却被占用了 1、具体表现 nvidia-smi或者gpustat无进程在GPU上运行，但GPU显存却被占用了 2、造成原因 应该是存在僵尸进程，已经运行完毕或者卡死，但是内存没有释放，处于挂起状态 3、解决方案 3.1 方案一 重启电脑 3.2 方案二 如果电脑不能重启，那就通过命令行： fuser -v /dev/nvidia* 或者有管理员权限的时候 sudo fuser -v /dev/nvidia* 可以看到对应的设备，是有进程的。 最后就用kill命令行杀掉相
训练神经网络，监测GPU发现显存占满但是GPU利用率基本为0？
qq_33980935的博客
05-08 8940
近日配置环境后终于可以开始跑GAN了，但是运行时发现GPU的利用率为0。上网百度了一下，有几种方法，尝试后发现可以这样做，在此记录。 实时动态监测GPU 在终端输入： watch -n 10 nvidia-smi 指定GPU 我只有一块0号GPU，所以就按照如下方式指定，虽说只有一块不指定的话应该也能跑，但是依照目前GPU的利用率，还是试试。 在代码中添加如下语句： os.environ["CU...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值