程序kill后仍占用GPU，kill指令没用

已于 2023-11-08 15:19:48 修改
阅读量244 收藏
点赞数
文章标签： python 人工智能 算法
于 2023-08-24 09:21:54 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lkaros_/article/details/132466678
版权

程序kill后仍占用GPU

fuser -v /dev/nvidia*
(sc_yolov5) [zqchen@gpurtx02 ultralytics]$ gpustat
gpurtx02             Thu Aug 24 09:18:31 2023  470.74
[0] Quadro RTX 6000  | 41'C,   0 % |     0 / 24220 MB |
[1] Quadro RTX 6000  | 72'C,   0 % | 17718 / 24220 MB |
(sc_yolov5) [zqchen@gpurtx02 ultralytics]$ fuser -v /dev/nvidia*
                     USER        PID ACCESS COMMAND
/dev/nvidia1:        zqchen    80525 F...m yolo
                     zqchen    80589 F...m yolo
                     zqchen    80653 F...m yolo
                     zqchen    80781 F...m yolo
                     zqchen    80909 F...m yolo
/dev/nvidiactl:      zqchen    80525 F...m yolo
                     zqchen    80589 F...m yolo
                     zqchen    80653 F...m yolo
                     zqchen    80781 F...m yolo
                     zqchen    80909 F...m yolo
/dev/nvidia-uvm:     zqchen    80525 F...m yolo
                     zqchen    80589 F...m yolo
                     zqchen    80653 F...m yolo
                     zqchen    80781 F...m yolo
                     zqchen    80909 F...m yolo
(sc_yolov5) [zqchen@gpurtx02 ultralytics]$ kill 80525
(sc_yolov5) [zqchen@gpurtx02 ultralytics]$ gpustat
gpurtx02             Thu Aug 24 09:19:30 2023  470.74
[0] Quadro RTX 6000  | 41'C,   0 % |     0 / 24220 MB |
[1] Quadro RTX 6000  | 65'C,   0 % | 17718 / 24220 MB |
(sc_yolov5) [zqchen@gpurtx02 ultralytics]$ kill 80589
(sc_yolov5) [zqchen@gpurtx02 ultralytics]$ kill 80653
(sc_yolov5) [zqchen@gpurtx02 ultralytics]$ gpustat
gpurtx02             Thu Aug 24 09:19:49 2023  470.74
[0] Quadro RTX 6000  | 41'C,   0 % |     0 / 24220 MB |
[1] Quadro RTX 6000  | 64'C,   0 % | 17718 / 24220 MB |
(sc_yolov5) [zqchen@gpurtx02 ultralytics]$ kill 80781
(sc_yolov5) [zqchen@gpurtx02 ultralytics]$ kill 80909
(sc_yolov5) [zqchen@gpurtx02 ultralytics]$ gpustat
gpurtx02             Thu Aug 24 09:20:05 2023  470.74
[0] Quadro RTX 6000  | 41'C,   0 % |     0 / 24220 MB |
[1] Quadro RTX 6000  | 63'C,   0 % |     0 / 24220 MB |
(sc_yolov5) [zqchen@gpurtx02 ultralytics]$

程序无法kill

1.寻找主进程，然后kill

2.使用kill -9 pid，强制杀死进程

	cd /proc/pid
	cat status
    kill -9 ppid
(base) [zqchen@gpurtx02 196023]$ nvidia-smi
Wed Nov  8 14:50:04 2023       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.74       Driver Version: 470.74       CUDA Version: 11.4     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Quadro RTX 6000     Off  | 00000000:3B:00.0 Off |                  Off |
| 44%   67C    P2   147W / 260W |  12340MiB / 24220MiB |     41%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
|   1  Quadro RTX 6000     Off  | 00000000:D8:00.0 Off |                  Off |
| 35%   61C    P2    65W / 260W |  21142MiB / 24220MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A    210860      C   python                          12337MiB |
|    1   N/A  N/A    196023      C   python                          21135MiB |
+-----------------------------------------------------------------------------+
(base) [zqchen@gpurtx02 196023]$ kill 196023
(base) [zqchen@gpurtx02 196023]$ fuser -v /dev/nvidia*\
> 
                     USER        PID ACCESS COMMAND
/dev/nvidia0:        zqchen    196023 F.... python
                     zqchen    196150 F.... python
                     zqchen    196214 F.... python
                     zqchen    196278 F.... python
                     zqchen    196342 F.... python
                     zqchen    196406 F.... python
                     zqchen    196470 F.... python
                     zqchen    196534 F.... python
                     zqchen    196598 F.... python
                     zqchen    196734 F.... python
                     zqchen    196735 F.... python
                     zqchen    196736 F.... python
                     zqchen    196737 F.... python
                     zqchen    196738 F.... python
                     zqchen    196739 F.... python
                     zqchen    196740 F.... python
                     zqchen    196741 F.... python
                     zqchen    210860 F...m python
                     zqchen    210979 F...m python
                     zqchen    211043 F...m python
                     zqchen    211107 F...m python
                     zqchen    211171 F...m python
                     zqchen    211303 F...m python
                     zqchen    211304 F...m python
                     zqchen    211305 F...m python
                     zqchen    211306 F...m python
                     zqchen    211307 F...m python
                     zqchen    211308 F...m python
                     zqchen    211309 F...m python
                     zqchen    211310 F...m python
/dev/nvidia1:        zqchen    196023 F...m python
                     zqchen    196150 F...m python
                     zqchen    196214 F...m python
                     zqchen    196278 F...m python
                     zqchen    196342 F...m python
                     zqchen    196406 F...m python
                     zqchen    196470 F...m python
                     zqchen    196534 F...m python
                     zqchen    196598 F...m python
                     zqchen    196734 F...m python
                     zqchen    196735 F...m python
                     zqchen    196736 F...m python
                     zqchen    196737 F...m python
                     zqchen    196738 F...m python
                     zqchen    196739 F...m python
                     zqchen    196740 F...m python
                     zqchen    196741 F...m python
                     zqchen    210860 F.... python
                     zqchen    210979 F.... python
                     zqchen    211043 F.... python
                     zqchen    211107 F.... python
                     zqchen    211171 F.... python
                     zqchen    211303 F.... python
                     zqchen    211304 F.... python
                     zqchen    211305 F.... python
                     zqchen    211306 F.... python
                     zqchen    211307 F.... python
                     zqchen    211308 F.... python
                     zqchen    211309 F.... python
                     zqchen    211310 F.... python
/dev/nvidiactl:      zqchen    196023 F...m python
                     zqchen    196150 F...m python
                     zqchen    196214 F...m python
                     zqchen    196278 F...m python
                     zqchen    196342 F...m python
                     zqchen    196406 F...m python
                     zqchen    196470 F...m python
                     zqchen    196534 F...m python
                     zqchen    196598 F...m python
                     zqchen    196734 F...m python
                     zqchen    196735 F...m python
                     zqchen    196736 F...m python
                     zqchen    196737 F...m python
                     zqchen    196738 F...m python
                     zqchen    196739 F...m python
                     zqchen    196740 F...m python
                     zqchen    196741 F...m python
                     zqchen    210860 F...m python
                     zqchen    210979 F...m python
                     zqchen    211043 F...m python
                     zqchen    211107 F...m python
                     zqchen    211171 F...m python
                     zqchen    211303 F...m python
                     zqchen    211304 F...m python
                     zqchen    211305 F...m python
                     zqchen    211306 F...m python
                     zqchen    211307 F...m python
                     zqchen    211308 F...m python
                     zqchen    211309 F...m python
                     zqchen    211310 F...m python
/dev/nvidia-uvm:     zqchen    196023 F...m python
                     zqchen    196150 F...m python
                     zqchen    196214 F...m python
                     zqchen    196278 F...m python
                     zqchen    196342 F...m python
                     zqchen    196406 F...m python
                     zqchen    196470 F...m python
                     zqchen    196534 F...m python
                     zqchen    196598 F...m python
                     zqchen    196734 F...m python
                     zqchen    196735 F...m python
                     zqchen    196736 F...m python
                     zqchen    196737 F...m python
                     zqchen    196738 F...m python
                     zqchen    196739 F...m python
                     zqchen    196740 F...m python
                     zqchen    196741 F...m python
                     zqchen    210860 F...m python
                     zqchen    210979 F...m python
                     zqchen    211043 F...m python
                     zqchen    211107 F...m python
                     zqchen    211171 F...m python
                     zqchen    211303 F...m python
                     zqchen    211304 F...m python
                     zqchen    211305 F...m python
                     zqchen    211306 F...m python
                     zqchen    211307 F...m python
                     zqchen    211308 F...m python
                     zqchen    211309 F...m python
                     zqchen    211310 F...m python
(base) [zqchen@gpurtx02 196023]$ 
(base) [zqchen@gpurtx02 196023]$ 
(base) [zqchen@gpurtx02 196023]$ cd /proc/196023
(base) [zqchen@gpurtx02 196023]$ cat status
Name:	python
Umask:	0002
State:	T (stopped)
Tgid:	196023
Ngid:	196023
Pid:	196023
PPid:	279238
TracerPid:	0
Uid:	1009	1009	1009	1009
Gid:	1009	1009	1009	1009
FDSize:	256
Groups:	1009 
VmPeak:	46481776 kB
VmSize:	41804152 kB
VmLck:	       0 kB
VmPin:	       0 kB
VmHWM:	 5610268 kB
VmRSS:	 5456768 kB
RssAnon:	 2810948 kB
RssFile:	  495072 kB
RssShmem:	 2150748 kB
VmData:	35882532 kB
VmStk:	     132 kB
VmExe:	    1816 kB
VmLib:	 2125912 kB
VmPTE:	   16184 kB
VmSwap:	       0 kB
Threads:	119
SigQ:	11/512190
SigPnd:	0000000000000000
ShdPnd:	0000000000014000
SigBlk:	0000000000000000
SigIgn:	0000000001001000
SigCgt:	0000000180010002
CapInh:	0000000000000000
CapPrm:	0000000000000000
CapEff:	0000000000000000
CapBnd:	0000001fffffffff
CapAmb:	0000000000000000
NoNewPrivs:	0
Seccomp:	0
Speculation_Store_Bypass:	thread vulnerable
Cpus_allowed:	00000000,00000000,00000000,00000000,00000000,00000000,00000000,ffffffff,ffffffff
Cpus_allowed_list:	0-63
Mems_allowed:	00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000000,00000003
Mems_allowed_list:	0-1
voluntary_ctxt_switches:	1968
nonvoluntary_ctxt_switches:	605
(base) [zqchen@gpurtx02 196023]$ kill 279238
(base) [zqchen@gpurtx02 196023]$ kill 196023
(base) [zqchen@gpurtx02 196023]$ nvidia-smi
Wed Nov  8 14:50:59 2023       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.74       Driver Version: 470.74       CUDA Version: 11.4     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Quadro RTX 6000     Off  | 00000000:3B:00.0 Off |                  Off |
| 44%   68C    P2   118W / 260W |  12340MiB / 24220MiB |     43%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
|   1  Quadro RTX 6000     Off  | 00000000:D8:00.0 Off |                  Off |
| 35%   61C    P2    65W / 260W |  21142MiB / 24220MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A    210860      C   python                          12337MiB |
|    1   N/A  N/A    196023      C   python                          21135MiB |
+-----------------------------------------------------------------------------+
(base) [zqchen@gpurtx02 196023]$ kill -9 196023
(base) [zqchen@gpurtx02 196023]$ kill -9 279238
(base) [zqchen@gpurtx02 196023]$ nvidia-smi
Wed Nov  8 14:51:53 2023       
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 470.74       Driver Version: 470.74       CUDA Version: 11.4     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  Quadro RTX 6000     Off  | 00000000:3B:00.0 Off |                  Off |
| 47%   64C    P0    74W / 260W |      0MiB / 24220MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
|   1  Quadro RTX 6000     Off  | 00000000:D8:00.0 Off |                  Off |
| 34%   57C    P0    58W / 260W |      0MiB / 24220MiB |      0%      Default |
|                               |                      |                  N/A |
+-------------------------------+----------------------+----------------------+
                                                                               
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|  No running processes found                                                 |
+-----------------------------------------------------------------------------+

lkaros_
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
Linux kill命令用法详解
01-09
若仍无法终止该程序，可使用SIGKILL(9)信息尝试强制删除程序。程序或工作的编号可利用ps指令或jobs指令查看。 语法kill [-s ][程序]　或　kill [-l ] 参数说明： -l 若不加选项，则-l参数会列出全部的信息名称。 -s ...
KILL5.2.1安装教程.pdf
07-12
KILL5.2.1安装教程.pdf
进程Kill杀死后GPU显存没有释放仍然被占用(僵尸进程)
qq_37591986的博客
06-09 6421
一行指令杀死占用显存的僵尸进程
杀死GPU进程的方法
untilyouydc
10-21 1万+
最近GPU上某些进程杀不死，查了一下说是因为父进程虽然kill了，但是子进程的内存还没有释放。因此要重新杀死父进程，我们通过 ps -ef|grep 进程ID ，来查找其父进程。然后再使用 kill -9 父进程ID 来杀死。 ...
# 杀死进程来释放显存
quency的博客
05-06 219
如果都不行或者该进程的父进程号为1也就是init进程，使用。依次杀死进程，如果不能杀。找到父进程号，杀死父进程。kill + 进程号。如果kill杀不死，
解决python文件kill不掉的问题
weixin_43761828的博客
08-15 450
起因是弄了个shell脚本想自动运行代码，若后台存在之前运行的脚本就先kill这个脚本，但出现了问题，发现这个脚本只能通过指定pid的方法去kill。原因在于这是个子进程，需要先kill父进程python，再kill该进程才能在后台彻底杀死。因此，我们只需要在shell脚本中直接pkill python，就能自动杀死该进程了。
解决nvidia-smi发现显存占用严重，却看不到进程的问题
elephantbang的博客
12-21 666
练了一个服务器，跑代码显示显存不足，nvidia-smi一看发现：发现显存占用严重，却看不到进程的问题，直接kill也kill不掉。
python脚本批量杀死占用GPU的所有进程/所有正在cuda上运行的程序
larry1648637120的博客
11-07 1498
import os import time def get_exec_out(sxcute_str): out_list = os.popen(sxcute_str).readlines() return out_list if __name__ == '__main__': excute_str = 'nvidia-smi' out_list = get_exec_out(excute_str) # print(out_list) for oo i.
【服务器使用】Linux系统下使用kill命令杀死进程后仍占用GPU显存
phoebeXD的博客
10-26 2682
在服务器上跑深度学习模型时，使用kill命令杀死进程后，使用nvidia-smi命令发现Processes是消失了，但显存仍有一部分被占用。本来以为可能是有僵尸进程，后来分析应该是有子进程的内存没有释放掉？
终止进程后，GPU显存仍被占用问题 | kill -9彻底杀死进程 | ps aux|grep python
weixin_47700137的博客
11-12 1870
终止进程后，GPU显存仍被占用问题 | kill -9彻底杀死进程 | ps aux|grep python
test_pthread_kill测试程序_
09-29
pthread_kill测试，该函数可用来测试某个进程中的线程执行情况
kill-process.rar_kill
09-19
在vc环境下，通过代码实现强行杀死正在运行中的进程。
windows下杀死GPU进程
python_plus的博客
12-25 2087
1.windows+R 到cmd窗口，输入nvidia-smi,出如下窗口 2.输入指令： taskkill /PID PTD号 /F 例如我上面： taskkill /PID 16676 /F
无法清除进程
weixin_45294424的博客
05-08 165
nvidia-smi发现有进程在占用gpu，使用“kill -9 进程号”这个命令后，再次nvidia-smi发现进程仍然没有清除，关机重启后没有效果。先用fuser -v /dev/nvidia*查看进程后，kill -9此处显示的进程号，成功清除！
【原创】如何解决python进程被kill掉后GPU显存不释放的问题
热门推荐
jzrita的博客
06-17 2万+
今早kill掉服务器里两个python进程，结果发现GPU的显存并没有被释放。在网上查了各种方法，最后搞定。这是进程被kill掉后显存依旧被占的情景：莫慌~试试以下几步：1 重新开一个shell，然后输入： ps aux|grep user_name|grep python。所有该用户下的python程序就会显示出来（很多在用watch命令都不会显示的进程在这里可以看到）；2 然后再一个个用kil...
程序停止后GPU仍被占用
濯君
08-14 1万+
在跑深度学习程序的时候，有时强制终止程序，可是程序占用的GPU资源仍然没有被释放，被这个坑了好久，还以为是GPU一直被别人抢占了，结果是GPU资源泄露。 可以使用这个命令查看Linux系统GPU的使用情况 nvidia-smi 得到如图结果 此时可以手动kill掉占用GPU的进程，以此来释放GPU资源 kill -9 49461 若是使用了Screen命令在后台运行的程序终止后...
解决进程杀死，显存仍在的问题
u013548568的博客
05-13 1万+
1、用nvidia-smi也好，top也好都找不到kill掉的进程了，但是显存仍然占用没有被释放，怎么办呢？毕竟top也找不到进程号呀 用以下指令查找出top没有而他有的进程 fuser -v /dev/nvidia* 逐个kill掉top中不显示的进程就可以了...
基于JavaScript 如何实现爬山算法以及优化方案
最新发布
乐闻世界
06-10 1219
爬山算法（Hill Climbing Algorithm）是一种常见的启发式搜索算法，常用于解决优化问题。其核心思想是从一个初始状态出发，通过逐步选择使目标函数值增大的邻近状态来寻找最优解。接下来，我们将通过 JavaScript 实现一个简单的爬山算法，帮助大家理解其原理和应用。从一个初始状态开始。评估当前状态的目标函数值。在当前状态的邻居中选择一个目标函数值更大的状态。如果找到了更优的邻居，则移动到该邻居并重复步骤2和步骤3。如果没有更优的邻居，则算法结束，当前状态即为局部最优解。
程序退出后依旧占用GPU和内存资源时强制kill掉进程的方法
03-21
可以使用任务管理器或者命令行工具（如taskkill）来强制结束进程。在任务管理器中，找到对应的进程，右键点击选择“结束任务”即可。在命令行中，使用taskkill命令，加上对应的进程ID或进程名，即可强制结束进程。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值