nvidia-smi GPU的程序kill后未释放显存

最新推荐文章于 2025-02-25 15:33:37 发布
最新推荐文章于 2025-02-25 15:33:37 发布
阅读量5.5k 收藏 8
点赞数 4
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013249853/article/details/90747442
版权
在尝试使用TensorFlow进行数据并行处理时，遇到GPU内存未正常释放的问题。文章详细描述了如何通过管理员权限逐个杀死占用GPU资源的进程，以解决内存泄露的情况。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

tensorflow数据并行，中途中断了，毕竟头一次自己的程序并行跑，很有可能就出错。结果某次出错，GPU并未释放内存;

 

1  fuser -v /dev/nvidia*

 

然后需要逐个杀死，注意使用管理员身份

杀死之后，世界清净了：

TinaO-O
关注
【Linux】程序已经运行完了，但是占着GPU，没有释放内存怎么办——kill -9 PID
weixin_44502754的博客
05-21 1200
【Linux】程序已经运行完了，但是占着GPU，没有释放内存怎么办——kill -9 PID
ubuntu下实时查看GPU使用情况的两种方式（nvidia-smi、gpustat）及结束占用GPU进程的命令
热门推荐
zeeq的博客
07-21 12万+
要查看gpu占用，这里介绍两个方法，一个是官方的nvidia-smi，装完显卡驱动就能使用了；另一个是gpustat，更方便于查看gpu使用情况。
pytorch在kill主进程后无法释放显存的问题
georgeandgeorge的博客
05-16 4541
同事写的pytorch程序最近有点奇怪，程序运行结束/强制杀死后，占用的显存没能正常释放。这是怎么一回事呢？ 在pytorch论坛搜到以下的信息：https://discuss.pytorch.org/t/pytorch-doesnt-free-gpus-memory-of-it-gets-aborted-due-to-out-of-memory-error/13775/13 就是说：多进程模式下的pytorch程序有个别版本会有这个bug：已经kill了主进程，可是子进程却没有kill掉，成了僵尸
Linux进程相关命令之nvidia-smi
qq_33382118的博客
02-25 914
它是 NVIDIA 系统管理接口（NVIDIA System Management Interface）的命令行工具，用于监控和管理 NVIDIA GPU 设备。它提供了一种快速查看 GPU 状态、使用情况、温度、内存使用情况、电源使用情况以及运行在 GPU 上的进程等信息的方法。第一个命令会为所有 GPU 设置为性能模式，第二个命令只针对 ID 为 0 的 GPU。信号可以被进程捕获并处理，从而允许进程在退出前进行清理工作。这会强制结束 GPU ID 为 0 上的 PID 为 12345 的进程。
GPU的程序kill后未释放内存
大可的杨先森的博客
03-23 2481
 具体方法描述如下：1.先关闭ssh（或者shell）窗口，退出重新登录2.查看运行在gpu上的所有程序：fuser -v /dev/nvidia*3.kill掉所有（连号的）僵尸进程
【ubuntu】GPU进程kill后，显存未释放（杀死僵尸进程）
luckynote
10-08 7863
通过以下命令查看僵尸进程 sudo fuser -v /dev/nvidia* 然后通过以下命令逐一kill僵尸进程 sudo kill -9 进程
Linux释放GPU显存，解决python进程被kill掉后GPU显存不释放的问题
xiaoxiaobai_hse的博客
03-20 3463
Linux服务器释放GPU显存
运维系列&AI系列&Lenovo-G双系统系列（前传-装之前搜索的）：解决Nvidia-smi没有进程但是显存不释放的问题
weixin_54626591的博客
09-03 602
解决Nvidia-smi没有进程但是显存不释放的问题
ubuntu下nvidia-smi用法及GPU使用
TRI_SEVEN的博客
08-22 2760
nvidia-smi用法 nvidia-smi(NVIDIA System Management Interface) 是基于nvml的gpu的系统管理接口,主要用于显卡的管理和状态监控。 显示的表格中： GPU ： GPU编号，【笔者目前使用的是单卡，编号为0】； Name： GPU型号，这里为GeForce GTX 1050 Ti； Persistence-M： 持续模式的状态（如果为on，耗能大，但在新的GPU应用启动时花费时间更少，这里为off） Fan： 风扇转速（0%–100%），N/A表
nvidia-smi 如何释放内存
02-28
当遇到程序异常退出或其他原因导致的GPU内存未被及时回收的情况时，可以利用 `nvidia-smi` 提供的功能尝试清理。通常情况下，操作系统会在进程结束之后自动回收分配给该进程的GPU资源；但在某些特殊场景下可能需要...
查看 nvidia-smi
最新发布
04-02
通常由显存未释放的进程导致，可通过以下命令终止所有 GPU 进程： ```bash sudo fuser -v /dev/nvidia* # 查看占用进程 kill -9 <PID> # 强制终止进程 ``` --- #### 4. **进阶用法** - **结合 `watch` 实时...
解决Nvidia-smi没有进程但是显存不释放的问题
打拳的土豆的博客
04-22 1万+
** Nvidia显存占用问题 ** 程序已停掉，但是GPU显存无法释放，我们在使用PyTorch写程序的时候,　有时候会在控制台终止掉正在运行的程序，但是有时候程序已经结束了，nvidia-smi 也看到没有程序了，但是GPU的内存并没有释放，这是怎么回事呢？ 这是因为使用PyTorch设置多线程进行数据读取，其实是假的多线程，他是开了N个子进程（PID都连着）进行模拟多线程工作，所以你的程序跑完或者中途kill掉主进程的话，子进程的GPU显存并不会被释放，需要手动一个一个kill才行，具体方法描述如下
nvidia-smi 报错
G果的博客
06-23 833
nvidia-smi报错
解决nvidia-smi无进程，但GPU显存被占用的情况
发现问题，并解决问题，批判性思维
03-24 1504
# 一、问题描述 如题，解决nvidia-smi无进程，但GPU显存被占用的情况。 # 二、解决方案 ```python # 查看没有显示出来的进程 fuser -v /dev/nvidia* # Kill掉 sudo kill -9 pid ``` 如果要`kill`的进程特别多，可以用以下的python脚本： ```python import os pid = list(set(os.popen('fuser -v /dev/nvidia*').read().split())) kill_cmd =
【服务器使用】Linux系统下使用kill命令杀死进程后仍占用GPU显存
phoebeXD的博客
10-26 3011
在服务器上跑深度学习模型时，使用kill命令杀死进程后，使用nvidia-smi命令发现Processes是消失了，但显存仍有一部分被占用。本来以为可能是有僵尸进程，后来分析应该是有子进程的内存没有释放掉？
关闭显卡的僵尸进程
探索人工智能革命，深入算法原理与创新应用，未来科技无限可能。
04-12 837
gpu没有运行进程，但是显存一直占用，存在僵尸进程，占用6679G显存。
一键kill多进程cuda程序
Wanzi_biulala的博客
11-30 495
深度学习代码中，经常使用多个gpu进行训练，有时需要高效地一次性kill掉部署在多gpu上的进程。
NVIDIA驱动安装+nvidia-smi各种报错+ubuntu黑屏+问(NVIDIA-SMI has failed because it couldn‘t communicate .... )
chuangkeiss的博客
07-29 7194
普通的NVIDIA驱动安装按理说比较简单，但偶尔会遇到各种奇怪的错误，之前安装时也黑屏过，最后也补救回来，这次狠下心来，把全部遇到的问题阅读的经验贴记录一下。
GPU之nvidia-smi命令详解
GAN、Transformer、Vue、Django知识学习&&分享者 ZhuBa的博客 zhuba-Ahhh.github.io
06-20 4万+
NVIDIA-SMI简称NVSMI，提供监控GPU使用情况和更改GPU状态的功能，是一个跨平台工具，支持所有标准的NVIDIA驱动程序支持的Linux和WindowsServer 2008 R2 开始的64位系统。这个工具是N卡驱动附带的，只要装好驱动，就会有这个命令 Windows下 表格参数详解：隔两秒刷新一下GPU的状态： nvidia-smi -l 上面是显存监控中常用的几个命令，如果还有什么参数想了解，可以通过： 命令查看如果想调整结果记录文件的字段，可以通过下面的命令查看对应的字段： 3
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值