查询GPU时无进程运行，但是显存却被占用了

最新推荐文章于 2024-05-25 01:57:10 发布
最新推荐文章于 2024-05-25 01:57:10 发布
阅读量1.7w 收藏 45
点赞数 16
分类专栏： 实践与问题解决 文章标签： 深度学习 pytorch 计算机视觉
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41554005/article/details/123104958
版权

查询GPU时无进程运行，但是显存却被占用了

1、具体表现

nvidia-smi或者gpustat无进程在GPU上运行，但GPU显存却被占用了

image-20220224093722654

2、造成原因

应该是存在僵尸进程，已经运行完毕或者卡死，但是内存没有释放，处于挂起状态

3、解决方案

3.1 方案一

重启电脑

3.2 方案二

如果电脑不能重启，那就通过命令行：

fuser -v /dev/nvidia*
或者有管理员权限的时候
sudo fuser -v /dev/nvidia*

image-20220224094332924

可以看到对应的设备，是有进程的。

最后就用kill命令行杀掉相应的PID号。

image-20220224094451780

这样就完事了

image-20220224094519759

呆呆象呆呆
关注
  • 16
    点赞
  • 踩
  • 45
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
问题：GPU显存打满且无法释放
ping233的博客
08-08 534
性能测试
Keras - GPU ID 和显存占用设定步骤
09-16
此外，还可以通过设置`per_process_gpu_memory_fraction`来限制每个进程对GPU显存的最大占用率。例如，以下代码将最大占用率限制为30%： ```python config = tf.ConfigProto() config.gpu_options.per_process_gpu_...
【bug记录】清除僵尸进程，释放GPU显存
Yulki的博客
05-09 1140
在进行深度学习或其他需要GPU支持的任务时，我们有时会发现虽然没有可见的进程在执行，但GPU资源却意外地被占用。这种情况往往会阻碍我们的工作进度，因为新的任务无法启动。如果你遇到了这种状况，不要担心，这里有一些方法可以帮助你解决这个问题。
nvidia-smi 无进程占用GPU，但GPU显存却被占用了
修行之路
06-02 2290
nvidia-smi 无进程占用GPU，但GPU显存却被占用了
（Linux）显存被占用-显示没有进程-nohup
最新发布
qq_39214409的博客
05-25 1002
这种情况多半是代码中 num_works 的设置大于1导致的。nvidia-smi显示的PID是父进程，那么在kill掉此进程后，子进程仍然在工作。关键问题在于如何找到子进程并终止。
浅谈多卡服务器下隐藏部分 GPU 和 TensorFlow 的显存使用设置
12-17
服务器有多张显卡，一般是组里共用，分配好显卡和任务就体现公德了。除了在代码中指定使用的 GPU 编号，还可以直接设置可见 GPU 编号，使程序/用户只对部分 GPU 可见。 操作很简单，使用环境变量 CUDA_VISIBLE_DEVICES 即可。 具体来说，如果使用单卡运行 Python 脚本，则可输入 CUDA_VISIBLE_DEVICES=1 python my_script.py 脚本将只使用 GPU1。 在 .py 脚本和 Notebook 中设置，则 import os os.environ[“CUDA_VISIBLE_DEVICES”] = “2” 还可以直接设置临时的
gpu显卡查询命令的使用以及无使用情况下占用资源问题的解决办法
04-11
nvidia-smi命令的使用，查看详细信息的解读，gpu在无使用情况下占用资源的解决方案。
GPU占用显存，但看不到PID进程（已解决）
qq_52302919的博客
04-19 1899
awk 命令来处理 fuser 的输出，遍历每一行输出，以 "kill -9 " 开头，后面跟着每个进程的PID。直接使用sudo kill pid，kill指定pid进程，本文案例为22131，则为以下命令。当我们使用nvidia-smi查看显卡占用时发现显存被占用，但是看不到pid进程。fuser 命令来查找哪些进程正在使用 /dev/nvidia* 文件。
解决gpu没有运行进程，但是显存一直占用的方式
热门推荐
大鱼的博客
10-19 3万+
通常情况下，停止进程显存会释放 但是如果在不正常情况关闭进程，可能不会释放，这个时候就会出现这样的情况： Mon Oct 19 16:00:00 2020 +-----------------------------------------------------------------------------+ | NVIDIA-SMI 410.104 Driver Version: 410.104 CUDA Version: 10.0 | |-------
nvidia-smi无进程但是显卡被占满
m0_52848925的博客
02-03 1759
这个命令查询到的进程ID（PID）是 nvidia-smi 自己维护的，而不是操作系统维护的真实进程ID，真实的PID可以通过其他方式（例如使用ps命令）获取。远程服务器，输入nvidia-smi，看到显存使用率（Memory Usage）几乎占满，但，显存利用率（GPU-Util）为0%。使用 pycharm 的 python console 进行调试的时候，调完之后要把进程终止掉，而不是把界面叉掉！显存使用率占满，说明有进程跑完之后，没有释放掉，一直静静地占着地儿。① jupyter不会释放显存。
解决nvidia-smi无进程，但GPU显存被占用的情况
发现问题，并解决问题，批判性思维
03-24 766
# 一、问题描述 如题，解决nvidia-smi无进程，但GPU显存被占用的情况。 # 二、解决方案 ```python # 查看没有显示出来的进程 fuser -v /dev/nvidia* # Kill掉 sudo kill -9 pid ``` 如果要`kill`的进程特别多，可以用以下的python脚本： ```python import os pid = list(set(os.popen('fuser -v /dev/nvidia*').read().split())) kill_cmd =
Linux--无进程却显示占用显存，GPU显存释放方法
flyingluohaipeng的博客
01-15 6374
程序结束掉，但GPU显存没有释放。
解决Tensorflow占用GPU显存问题
09-18
首先，问题的核心在于TensorFlow在初始化时会尝试预分配所有可用的GPU显存，这种策略虽然能避免频繁的内存分配和释放带来的性能损失，但在多任务环境下可能会导致显存资源紧张。为了解决这个问题，我们可以采取以下...
运行tensorflow python程序,限制对GPU和CPU的占用操作
12-20
在使用TensorFlow进行深度学习训练时，有效地管理GPU和CPU资源是至关重要的。默认情况下，TensorFlow会尝试利用系统中所有可用的GPU，这可能导致其他进程无法访问GPU资源，或者导致资源浪费。以下是如何限制...
解决TensorFlow程序无限制占用GPU的方法
09-16
具体表现为随着程序运行时间的增长，GPU的内存占用持续增加，最终导致程序崩溃。这种现象可能是由于TensorFlow默认情况下会尽可能多地占用GPU资源造成的。 #### 解决方案 为了解决TensorFlow程序无限制占用GPU的...
排查GPU无进程但显存占用
小鹏AI
03-02 585
找到对应进程ID并删除。
GPU无进程但显存占用
weixin_46214675的博客
01-26 1059
上面这个命令会将所有包含 /debug 字符串的、正在使用 NVIDIA GPU 的进程的 PID 号写入到 pids_to_kill.txt 文件中，而不是直接杀死这些进程。所以就捣鼓了一下，写成blog造福大家！为了保险起见我将要杀死的进程的 PID 号保存到一个文件中，而不是直接杀死它们，当然也是可以做到。这个命令会读取 pids_to_kill.txt 文件中的每一行（也就是每一个 PID），然后杀死对应的进程。grep /debug 是查找命令里面的关键字区分，哪一组是正在跑，哪一组是死掉了的。
未运行任何程序，GPU占用却很高
weixin_43400733的博客
07-20 374
问题：没有运行任何程序，GPU的memory-usage占了很高，导致现在运行模型会cuda out of memory。解决：目前还未解决，希望大佬们可以给一些建议。
nvidia-smi 无进程占用GPU，但GPU显存却被占用了很多
学无止境
04-01 2万+
转载地址：https://blog.csdn.net/qq_33547191/article/details/86263859 下图是我当时遇到的问题 如上图，GPU1 显示占用了10G多的显存，但是却没有相应的进程。此时可使用如下命令查看进程： fuser -v /dev/nvidia* 显示如下图： 此时把这些进程全部 kill 掉 kill -9 5142 5143 5144 ...
linux释放gpu显存
09-01
在Linux中释放GPU显存可以通过以下步骤进行： 1. 杀掉占用显存的进程：使用命令 `nvidia-smi` 查看当前显存使用情况，找到占用显存较多的进程ID。然后使用命令 `kill <进程ID>` 杀掉该进程。 2. 重启X服务器：可以使用命令 `sudo systemctl restart display-manager` 或者 `sudo service lightdm restart` 重启X服务器，这将释放所有占用的显存。 3. 卸载NVIDIA驱动：如果以上方法不起作用，可以尝试卸载NVIDIA驱动，重新安装最新版本的驱动。具体的卸载和安装过程可以参考NVIDIA官方文档或相关的Linux发行版文档。 请注意，这些方法可能会导致正在运行的应用程序和系统中断，因此在执行之前请确保保存好所有重要数据。此外，具体的步骤可能因Linux发行版和显卡驱动版本而有所差异，请根据实际情况进行操作。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值