解决显存被占满的问题

最新推荐文章于 2025-04-30 19:00:00 发布

小镇做题家在CUP

最新推荐文章于 2025-04-30 19:00:00 发布

阅读量823

点赞数 10

文章标签： linux 运维服务器

本文链接：https://blog.csdn.net/weixin_44618208/article/details/135112644

版权

查看gpu上所有进程

fuser -v /dev/nvidia*

获取pid进程文件句柄数

lsof -p pid

kill掉没用的程序

kill -9 pid

如果kill不掉程序可以使用管理员权限kill程序

sudo kill -9 pid

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

小镇做题家在CUP

关注关注

10
点赞
踩
9

收藏

觉得还不错? 一键收藏
1
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
举报

举报

【运维】Linux 显存占用清理方法，深度学习pytorch，Linux显存占用详细情况查看

q742971636的博客

06-22

7670

【代码】【运维】Linux 显存占用清理方法，深度学习pytorch，Linux显存占用详细情况查看。

ComfyUI 提示Allocation on device 显存占满的解决方法及秋叶整合包的优化方法

代码简单说 Vue、JAVA、PHP、Node.js 熟练运用，接口、架构、性能全搞定。

03-11

3733

最近在玩ComfyUI的时候，发现一个让人崩溃的问题——VRAM一直占满，最终报错：简单来说，就是显卡显存溢出了，导致程序无法继续运行。尤其是一些大模型或者复杂工作流，很容易让显存飙升到极限。那怎么办？直接在启动命令后加上，例如：这个参数的作用是啥？默认情况下，ComfyUI会尽量让模型一直留在显存里，即使有些部分暂时用不到，导致显存迟早被填满。而可以强制让ComfyUI把数据卸载到常规内存，减少显存占用。如果你的显存真的不够用，还可以再加参数：这个参数的意思就是开启低显存模式，进一步优化

1 条评论您还未登录，请先登录后发表或查看评论

关于GPU显存占满（即memory usage 很大），但GPU-util很小，导致模型训练很慢

oneself的博客

12-07

9091

关于GPU显存占满（即memory usage 很大），但GPU-util很小，导致模型训练很慢

GPU显存爆炸如何解决？

Galen_xia的博客

09-25

1万+

问题：在使用GPU训练网络时，出现RuntimeError: CUDA out of memory. Tried to allocate 20.00 MiB (GPU 0; 11.17 GiB total capacity; 134.77 MiB already allocated; 8.56 MiB free; 3.23 MiB cached)，自己明明11G的显存，为啥还给占满了。 1 .nvidia-smi查看GPU状态：这时我们发现Memory-Usage(显存使用率)几乎占满了，而Volatil

GPU释放显存-----无进程但显存占满解决方法

MY_WARNING的博客

01-05

3万+

记录自己在学习中遇到的问题在训练模型时打断训练进程，之后再想进行其他的训练或者验证步骤时，会提示显存已满 out of memory 使用 nvidia-smi 查看gpu使用情况，无法看见正在进行的进程号，但显存被占满了可以使用 ps aux|grep python 查看进程号再使用 kill -9 进程号来结束进程释放显存，这样就可以继续其他任务了 ...

nvidia-smi无进程但是显卡被占满

m0_52848925的博客

02-03

3325

这个命令查询到的进程ID（PID）是 nvidia-smi 自己维护的，而不是操作系统维护的真实进程ID，真实的PID可以通过其他方式（例如使用ps命令）获取。远程服务器，输入nvidia-smi，看到显存使用率（Memory Usage）几乎占满，但，显存利用率（GPU-Util）为0%。使用 pycharm 的 python console 进行调试的时候，调完之后要把进程终止掉，而不是把界面叉掉！显存使用率占满，说明有进程跑完之后，没有释放掉，一直静静地占着地儿。① jupyter不会释放显存。

解决tensorflow训练时内存持续增加并占满的问题

09-18

在使用TensorFlow进行深度学习训练时，可能会遇到内存持续增加并最终占满的问题。这个问题通常是由于不正确的代码组织和计算图管理导致的。本文将详细解释这个问题的原因，并提供解决方案。首先，我们需要理解...

解决Tensorflow占用GPU显存问题

09-18

首先，问题的核心在于TensorFlow在初始化时会尝试预分配所有可用的GPU显存，这种策略虽然能避免频繁的内存分配和释放带来的性能损失，但在多任务环境下可能会导致显存资源紧张。为了解决这个问题，我们可以采取以下...

图神经网络训练与GPU调动的问题：使用图神经网络（GNN）时，尽管 GPU 显存占满，但是 GPU 利用率低，如何解决？

热门推荐

啷个哩个啷

09-10

4万+

1. ????问题描述运行程序的时候提醒显存不够，查看了一下nvidia-smi，确实显存占满了，但是GPU-Util，gpu利用率有三个都是0，只有一个是56% 搜索后发现这个现象的原因还比较普遍，但是似乎没有几个可以很好解决这个问题，参考：脚本之家的文章：Pytorch GPU内存占用很高,但是利用率很低如何解决，转载自CSDN博客：Pytorch GPU内存占用很高，但是利用率很低， ✅总结自CSDN博客：深度学习PyTorch，TensorFlow中GPU利用率较低，CPU利用率很低，且

Windows程序意外挂掉，但显存依然被占用

地理信息系统、摄影测量与遥感、人工智能

06-14

7798

Windows系统，在不重启电脑的情况下，释放意外挂掉的程序占用的显存。

运行nvidia-smi发现显存占用但是无程序运行如何处理

Guangli_R的博客

11-12

1497

在使用GPU进行深度学习或其他计算密集型任务时，有时可能会遇到GPU无程序运行但显存仍被占用的情况。本文将介绍如何诊断并解决这个问题，确保GPU资源能够被有效利用。本文介绍了当GPU无程序运行但显存仍被占用时的诊断和解决步骤。通过使用fuser命令查看GPU上的所有程序，并根据需要终止不需要的进程，可以有效地释放被占用的显存资源。在处理这类问题时，请务必谨慎操作，以避免对系统或其他应用程序造成不必要的影响。

解决nvidia-smi无进程，但GPU显存被占用的情况

发现问题，并解决问题，批判性思维

03-24

1491

# 一、问题描述如题，解决nvidia-smi无进程，但GPU显存被占用的情况。 # 二、解决方案 ```python # 查看没有显示出来的进程 fuser -v /dev/nvidia* # Kill掉 sudo kill -9 pid ``` 如果要`kill`的进程特别多，可以用以下的python脚本： ```python import os pid = list(set(os.popen('fuser -v /dev/nvidia*').read().split())) kill_cmd =

BERT推理显存爆满？7个实用技巧教你快速优化！显存优化的最佳实践指南

大多_C的博客

09-20

1251

即使是在推理阶段，也可以将输入数据分成较小的批次（batch），这样每次推理只处理较少的数据，从而减少显存占用。具体来说可以减小 batch size，逐步降低直到显存能够容纳。BERT 的显存占用与输入序列的长度直接相关。可以尝试裁剪输入文本，使得序列长度减少。特别是对很长的文本，可以设置合理的最大长度（如128或256），从而减少计算需求。虽然主要用于训练，但在推理时可以通过减少内存开销来节省显存。可以通过调整模型以支持这种技术，减少中间计算结果的缓存。

GPU占用显存，但看不到PID进程（已解决）

qq_52302919的博客

04-19

7982

awk 命令来处理 fuser 的输出，遍历每一行输出，以 "kill -9 " 开头，后面跟着每个进程的PID。直接使用sudo kill pid，kill指定pid进程，本文案例为22131，则为以下命令。当我们使用nvidia-smi查看显卡占用时发现显存被占用，但是看不到pid进程。fuser 命令来查找哪些进程正在使用 /dev/nvidia* 文件。

30系显卡显存被占用又找不到进程的解决办法

weix1235的博客

12-02

3729

最近使用pytorch进行模型训练，调用显卡时出现以下错误： RuntimeError: CUDA out of memory. 傻了，新买的电脑3060，6G显存。啥也没干就不够用了？于是开始上网找解决办法，很多大佬说，是显存被其他进程占用又没关闭导致的。建议使用nvidia-smi指令在cmd下查找进程，关闭即可。乖乖听话：？没有进程，那到底是什么占用了我的现存！ ...

Nvidia显存占用问题

szyao的博客

04-16

1888

root用户下 apt install psmisc kill所有进程 nvidia-smi 发现内存泄露问题，即没有进程时，内存被占用 fuser -v /dev/nvidia* 发现僵尸进程 #ps x |grep python|awk '{print $1}'|xargs kill 杀死所有僵尸进程 #root用户 fuser -v /d...

yolo训练占满RAM

01-26

### 解决YOLO训练过程中的内存溢出问题当遇到YOLO训练过程中占用过多RAM的问题时，可以采取多种策略来优化资源利用并确保模型能够顺利训练。 #### 减少批量大小降低批处理尺寸是一种简单有效的方法。较小的批次意味着每次迭代所需的内存量更少。虽然这可能会稍微影响收敛速度，但在大多数情况下不会显著损害最终性能[^1]。 ```python # 修改配置文件或命令行参数以减少batch size train_batch_size = 8 # 原始可能是16或更高 ``` #### 使用混合精度训练通过启用自动混合精度（AMP），可以在不牺牲太多准确性的情况下大幅减少显存消耗。这种方法允许网络在某些操作上使用较低位宽的数据类型，从而节省大量空间。 ```python from torch.cuda.amp import GradScaler, autocast scaler = GradScaler() for data in dataloader: optimizer.zero_grad() with autocast(): outputs = model(inputs) loss = criterion(outputs, labels) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update() ``` #### 数据增强与预取合理设置数据加载器的工作线程数以及应用高效的数据增强技术也能间接缓解内存压力。提前准备好下一批次所需的数据有助于保持GPU持续工作而不必等待CPU准备数据完成。 ```python dataloader = DataLoader( dataset, batch_size=train_batch_size, shuffle=True, num_workers=4, # 根据硬件调整此数值 pin_memory=True ) ``` #### 模型剪枝与量化对于已经训练好的较大型号，考虑对其进行结构化剪枝或者权重量化。这些方法能够在几乎不影响推理质量的前提下极大地压缩模型体积，进而减轻部署阶段可能面临的存储和计算负担。