GPU释放显存-----无进程但显存占满解决方法

最新推荐文章于 2023-12-05 10:53:25 发布
最新推荐文章于 2023-12-05 10:53:25 发布
阅读量1.6w 收藏 53
点赞数 19
分类专栏： debug 文章标签： 深度学习 pytorch 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MY_WARNING/article/details/122326926
版权

记录自己在学习中遇到的问题

在训练模型时打断训练进程，之后再想进行其他的训练或者验证步骤时，会提示显存已满 out of memory

使用

nvidia-smi

查看gpu使用情况，无法看见正在进行的进程号，但显存被占满了
在这里插入图片描述

可以使用

ps aux|grep python

查看进程号

在这里插入图片描述

再使用

kill -9 进程号

来结束进程释放显存，这样就可以继续其他任务了

亿丶Bug
关注
  • 19
    点赞
  • 踩
  • 53
    收藏
    觉得还不错? 一键收藏
  • 4
    评论
专栏目录
【已解决】探究CUDA out of memory背后原因，如何释放GPU显存？
FRIGIDWINTER的博客
04-11 5万+
本文探究CUDA的内存管理机制，总结RuntimeError: CUDA out of memory的背后原因，并给出解决方案
Pytorch释放显存占用方式
12-23
如果在python内调用pytorch有可能显存和GPU占用不会被自动释放，此时需要加入如下代码 torch.cuda.empty_cache() 我们来看一下官方文档的说明 Releases all unoccupied cached memory currently held by the caching allocator so that those can be used in other GPU application and visible in nvidia-smi. Note empty_cache() doesn’t increase the amount of GPU me
清除占用显存的程序，释放显存——命令
南瓜派三蔬
04-25 3054
sudo fuser -v /dev/nvidia* |awk '{for(i=1;i<=NF;i++)print "kill -9 " $i;}' | sudo sh
GPU显存释放
qq_36184671的博客
06-12 9361
1 有些时候深度学习程序会异常退出，导致GPU显存无法释放，再进行资源计算时，就会报错，这时候需要显式释放缓存 可用命令fuser -v /dev/nvidia* ，然后kill ...
Pytroch - 显存释放问题
David's Tweet
12-31 3134
PyTorch 在训练和预测的时候，出现显存一直增加的问题，占用显存越来越多，甚至导致最终出现 out of memory 问题。 1. 显存管理(Memory Management) Memory management PyTorch 采用缓存分配器(caching memory allocator) 机制以加速内存分配(memory allocations)，使得在不需要设备同步(d...
torch显存分析——如何在不关闭进程的情况下释放显存
weixin_44826203的博客
05-18 7526
torch显存占用分析，以及如何在不关闭进程的情况下，利用代码释放不再占用的显存。
释放显存
weixin_43077628的博客
05-19 2407
在用pytorch训练完模型后，需要将显存手动释放掉 使用nvidia-smi查看占用显存的进程 kill -9 PID(进程号)来结束进程，即可释放显存
显存释放
u012953338的专栏
04-24 1333
容器中明明没有程序在跑，可gpu的显存状态是被占用这么多。 解决办法： fuser -v /dev/nvidia* 查看哪些进程在占用。 然后进kill命令，杀死对应的进程就行了。 其中如果 fuser命令不可用，则 apt-get install psmisc 如果安装不了，则： apt-get update 然后再安装就行。 ...
GPU释放显存
flyingluohaipeng的博客
09-12 7414
查看gpu使用情况，已经如何释放内存
释放 GPU 显存
weixin_39986534的博客
06-21 1573
在训练深度网络的时候我们常常使用GPU进行加速 可是由于种种原因会导致我们的程序不运行了之后把显存占用。 解决方式： 1、查看这个进程的GPU情况 pmap -d PID 2、通过制定用户查看进程信息 ps -u <你的id> 如果使用命令nvidia-smi不显示占用GPU显存的进程，可以使用以下命令查看： fuser -v /dev/nvidia0 3、删除掉进程 kill id Refer: https://blog.csdn.net/LCCFlccf/article/detail
自定显存清除工具
12-10
通过设置不一样的分辨率，达到定时清除显存的目的。
tensorflow-gpu-2.10.0-cp310-cp310-win-amd64.whl
06-27
该资源为tensorflow_gpu-2.10.0-cp310-cp310-win_amd64.whl，欢迎下载使用哦！
tensorflow-gpu-2.10.1-cp310-cp310-win-amd64.whl
06-25
该资源为tensorflow_gpu-2.10.1-cp310-cp310-win_amd64.whl，欢迎下载使用哦！
tensorflow-gpu-2.10.1-cp310-cp310-linux.whl
06-27
该资源为tensorflow_gpu-2.10.1-cp310-cp310-manylinux_2_17_x86_64.manylinux2014_x86_64.whl，欢迎下载使用哦！
tensorflow-gpu-2.11.0-cp37.whl
06-24
该资源为tensorflow_gpu-2.11.0-cp37-cp37m-manylinux_2_17_x86_64.manylinux2014_x86_64.whl，欢迎下载使用哦！
onnxruntime-gpu-1.16.0-cp38-cp38-linux-aarch64
最新发布
03-11
onnxruntime_gpu-1.16.0-cp38-cp38-linux_aarch64
【解决】GPU占用显存，但看不到PID进程
XC___XC的博客
12-05 1819
awk 命令来处理 fuser 的输出，遍历每一行输出，以 "kill -9 " 开头，后面跟着每个进程的PID。常用的查看显卡基本信息的命令 nvidia-smi 发现显存被占用，但是看不到pid进程。kill进程先大概了解一下是那个情况，别到时候把其他人的进程给断了【苦笑】fuser 命令来查找哪些进程正在使用 /dev/nvidia* 文件。可以使用下面的命令，查看详细的pid进程号和占用的显存。
Ubuntu释放缓存/内存和显存
Ayu147258的博客
03-30 6024
ubuntu定时自动清除缓存+手动清除缓存+清除显存
如何释放GPU显存？CUDA out of memory 如何解决
michael_quan2013的博客
07-19 5861
但只能释放失活显存，即通过手动释放后，1中的例子显存占用率为1/10。调用 torch 的功能可以实现显存释放 torch.cuda.empty_cache()，(2) 如果又来个稍小的数据进行推理，推理时需占用。(1) 来一个数据并进行推理，推理结束后占用。释放掉并提供给其进行推理，推理结束后又产生。(3) 如果又来个稍大的数据进行推理，需要。失活内存，CUDA会把2G失活内存中的。内存供其推理，推理结束后共占用。失活内存，则此时的占用率仍是。失活内存，推理结束后仍占用。失活内存，此时占用率则为。
nvidia-smi没有进程
09-16
nvidia-smi命令可以用来查看GPU的使用情况，包括GPU的进程和内存占用情况。如果nvidia-smi没有显示任何进程，但是GPU的内存没有释放，可能是因为程序终止时没有完全释放GPU显存。这可能是由于某些资源没有正确释放或程序没有正常退出导致的。你可以尝试以下几种方法来解决这个问题： 1. 重启机器：有时候重启机器可以清除GPU显存并恢复正常状态。 2. 检查程序：确保你的程序在结束时正确释放了所有的GPU资源。可以使用`torch.cuda.empty_cache()`来手动释放PyTorch所占用的GPU显存。 3. 使用命令行工具：除了nvidia-smi，你还可以尝试其他命令行工具来释放GPU显存。例如，使用`fuser -v /dev/nvidia* | awk '{for(i=1;i<=NF;i )print "kill -9 " $i;}' | sh`命令来终止所有占用GPU资源的进程。 4. 更新显卡驱动：有时候，旧版本的显卡驱动可能导致GPU显存无法正确释放。你可以尝试更新显卡驱动来解决这个问题。 以上是一些常见的解决方法，希望对你有所帮助。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值