docker容器中程序退出异常，GPU未释放

最新推荐文章于 2023-10-05 10:23:23 发布
最新推荐文章于 2023-10-05 10:23:23 发布
阅读量955 收藏
点赞数
分类专栏： 运维部署 文章标签： docker
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jane_xing/article/details/120481938
版权
在Docker容器中，一个长时间运行的GPU数据清洗任务完成之后，进程未正常退出，导致GPU内存未释放。尝试通过kill和kill-9命令都无法终止相关进程，其中一些进程的PPID为1，即init进程。由于进程可能处于僵尸状态或核心态，常规方法无法终止。最终，通过重启服务器解决了问题。
摘要由CSDN通过智能技术生成

1、问题描述

近期在docker容器中对一批数据通过算法进行清洗时，当数据处理完成后发现进程未正常退出，GPU内存未正常释放。

[root@ai66 ~]# nvidia-smi
Sun Sep 26 09:10:45 2021
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 455.38       Driver Version: 455.38       CUDA Version: 11.1     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  GeForce GTX 108...  Off  | 00000000:04:00.0 Off |                  N/A |
|  0%   56C    P2   101W / 250W |  10066MiB / 11178MiB |     12%      Default |
|                               |                      |                  N/A |
+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A      2209      C   python3                           967MiB |
|    0   N/A  N/A      7747      C   -                                 905MiB |
|    0   N/A  N/A      9055      C   -                                 889MiB |
|    0   N/A  N/A     11877      C   python3                           967MiB |
|    0   N/A  N/A     18297      C   -                                1530MiB |
|    0   N/A  N/A     24028      C   -                                1013MiB |
|    0   N/A  N/A     24601      C   -                                1530MiB |
|    0   N/A  N/A     25329      C   -                                 967MiB |
|    0   N/A  N/A     26568      C   -                                 333MiB |
|    0   N/A  N/A     37182      C   -                                 961MiB |

2、分析原因

因为处理的数据量较大，程序通常执行时间几乎20h+，执行完成后未正常退出，原因暂未知。

3、解决过程

通过kill杀死进程失败

尝试通过kill -9 PID强制杀死进程，无效，进程仍存在。

[root@ai66 ~]# kill -9 7747
[root@ai66 ~]# nvidia-smi
Sun Sep 26 09:53:18 2021
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 455.38       Driver Version: 455.38       CUDA Version: 11.1     |
|-------------------------------+----------------------+----------------------+
| GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
| Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
|                               |                      |               MIG M. |
|===============================+======================+======================|
|   0  GeForce GTX 108...  Off  | 00000000:04:00.0 Off |                  N/A |
|  0%   56C    P2    92W / 250W |  10066MiB / 11178MiB |      0%      Default |
|                               |                      |                  N/A |

+-----------------------------------------------------------------------------+
| Processes:                                                                  |
|  GPU   GI   CI        PID   Type   Process name                  GPU Memory |
|        ID   ID                                                   Usage      |
|=============================================================================|
|    0   N/A  N/A      2209      C   python3                           967MiB |
|    0   N/A  N/A      7747      C   -                                 905MiB |
|    0   N/A  N/A      9055      C   -                                 889MiB |
|    0   N/A  N/A     11877      C   python3                           967MiB |
|    0   N/A  N/A     18297      C   -                                1530MiB |
|    0   N/A  N/A     24028      C   -                                1013MiB |
|    0   N/A  N/A     24601      C   -                                1530MiB |
|    0   N/A  N/A     25329      C   -                                 967MiB |
|    0   N/A  N/A     26568      C   -                                 333MiB |
|    0   N/A  N/A     37182      C   -                                 961MiB |
尝试kill掉其父进程，

也失败。我们发现该进程的PPID是1，即init进程，该进程我们是无法kill掉的。

[root@ai66 ~]# ps -ef |grep 7747
root      4020 10169  0 09:56 pts/0    00:00:00 grep --color=auto 7747
root      7747     1 25 Sep25 ?        04:41:57 [python3.8]

如果一个defunct进程的PPID为1，则该defunct进程的父进程为init进程。init进程是系统中所有进程的起源。通常情况下，init进程通过将defunct进程的PPID设为1来收回该进程。

为何无法kill掉某些进程

查找资料分析其原因如下：

kill -9发送SIGKILL信号将其终止，但是以下两种情况不起作用：
a、该进程处于"Zombie"状态（使用ps命令返回defunct的进程）。此时进程已经释放所有资源，但还未得到其父进程的确认。"Zombie"进程要等到下次重启时才会消失，但它的存在不会影响系统性能。

[root@ai66 ~]# ps -ef |grep 9055
root      9055 38368 94 Sep24 ?        1-20:27:40 [python3] <defunct>
root     18500 10169  0 09:25 pts/0    00:00:00 grep --color=auto 9055

b、 该进程处于"kernel
mode"（核心态）且在等待不可获得的资源。处于核心态的进程忽略所有信号处理，因此对于这些一直处于核心态的进程只能通过重启系统实现。进程在AIX中会处于两种状态，即用户态和核心态。只有处于用户态的进程才可以用“kill”命令将其终止。

[root@ai66 ~]# ps -ef |grep 7747
root      7747     1 26 Sep25 ?        04:41:57 [python3.8]
root     16993 10169  0 09:25 pts/0    00:00:00 grep --color=auto 7747
问题解决

此时，docker stop 想要退出容器或者 docker exec重新进入容器，都会有异常报错。至此没办法，我们只能重启服务器了。
果然，一键reboot，gpu显卡恢复如初。

jane_xing
关注
专栏目录
Docker 搭建GPU容器用于深度学习 NVIDIA Container Toolkit CentOS 如何升级gpu driver
q742971636的博客
08-05 1535
1 需求 pytorch、tensorflow、mxnet等深度学习框架使用GPU的时候，不一样的版本会有一些CUDA要求，所以环境一直是困扰，Docker推出后，NVIDIA基于Docker给出解决方案，答案就是NVIDIA Container Toolkit。 github链接： https://github.com/NVIDIA/nvidia-docker 架构图： 2 安装 2.1 安装前需要知道 我的机器是centOS 7，显卡是2080TI 11G，上面有GPU驱动和CUDA。 参考：ht
ubuntu18.04中基于Docker搭建tensorflow-gpu开发环境
error的博客
06-07 1146
前提条件就不多提啦，首先得装好nvidia驱动和Docker19以上版本，网上有很多教程。deepo是一个囊括几乎所有深度学习框架的开源镜像，这里我们选择拉取一个tensorflow-gpu版本的，避免占用储存过大。 多方查找原因无法解决，决定尝试另一种方法需要注意，选择的cuda版本需要满足宿主机的显卡驱动需求：官网 宿主机的驱动版本为，因此选用11.0的即可拉取镜像官方地址 这里选择，复制命令：镜像比较大，需要耐心等待，拉取中～ 拉取完成： 2 通过镜像建立容器 通过以下指令： 说明： ：以交互模型运
kill -9 杀不掉jps进程
DayOneMore的博客
02-27 1391
问题描述： jps发现有一些进程，但是用kill -9 pid杀不掉 原因分析： 发现这个进程是僵尸进程 有两种方式查看进程是不是僵尸????‍♂️进程 top命令 ps pid 解决方案： 网上搜到如下解决方案： https://www.cnblogs.com/xubiao/p/6497390.html https://blog.csdn.net/qq_34477362/article/details/86685724 如果业务不繁忙，允许停机，可以使用重启机器来解决 kill -9 父进程号
kill -9都杀不掉的进程
xumingrencai
03-20 397
转载自：http://blog.csdn.net/bat603/article/details/1717024 kill -9发送SIGKILL信号将其终止，但是以下两种情况不起作用： a、该进程处于"Zombie"状态（使用ps命令返回defunct的进程）。此时进程已经释放所有资源，但还未得到其父进程的确认。"Zombie"进程要等到下次重启时才会消失，但它的存在不会影响系统性能。 ...
kill -9 杀不掉进程
niubiqigai的博客
07-18 1068
kill -9 发送SIGKILL信号给进程，将其终止，但对于以下两种情况不适用。
kill -9无法杀死进程
j_starry的博客
09-17 3754
经常会出现深度学习程序终止，nvidia显卡仍然被占用问题，这时需要用 nvidia-smi 查看占用的进程号，再 kill -9 pid （pid就是进程号） 但有时使用kill -9 无法杀死进程 可使用 cat /proc/pid（如2034）/status 查看进程信息，找到ppid号，尝试杀死其父进程ppid，然后再杀死当前pid ...
Linux 进程kill -9 无法杀死解决方案
热门推荐
u011236069的博客
08-05 1万+
从下述案例中可以看到使用kill -9 28051并未将28051进程杀死。
Docker 入门到精通+调用GPU
zhibing_ding的博客
03-19 1502
docker 封装
docker容器创建
qq_36315475的博客
04-09 1078
容器创建于Pycharm远程调试配置创建容器一、登录服务器二、Docker镜像管理1.选择需要的镜像2.创建和使用容器3.修改ssh配置Pycharm远程调试配置一、ssh能连上但是sftp连不上二、远程解释器配置路径问题 创建容器 此文为徐博的服务器使用补充说明，为自己的一点记录。 提示：以下是本篇文章正文内容，下面案例可供参考 一、登录服务器 二、Docker镜像管理 1.选择需要的镜像 2.创建和使用容器 查看已有的镜像： 选取你想要用的镜像，使用run命令创建容器 docker ru.
史上最详细解决“搭建GPU版Pytorch Docker镜像”教程
SpadgerZ的博客
03-15 4642
CUDA版本对应的Pytorch版本 搭建GPU版本的Pytorch Docker镜像 了解并安装完Docker之后，来配置安装GPU版本的Pytorch Docker镜像。 1.拉取基础的操作系统镜像 关键命令：docker pull 具体指令：docker pull nvidia/cuda:10.1-cudnn7-devel-ubuntu16.04 操作完成之后，使用docker images命令查看当前docker中存在的镜像： 可以看到第一行就是所拉取的镜像，该镜像中已经安.
kill -9 杀不掉进程解决方法
m0_61269311的博客
08-14 5977
当进程进入内核态的时候，通常会关闭中断（为了保证内核代码的原子性和可靠性），也会屏蔽所有的信号（防止信号处理程序在内核执行期间被调用，否则会导致不可预期的结果），包括SIGKIL，所以这个时候回使用kill -9发起的信号也一样会被屏蔽。但是信号会被记录在进程的信号挂起队列，进程切换回用户态的时会立即触发信号处理程序。在Linux中当你用kill命令向进程发送信号，并不是杀死的意思，-9表示无条件退出，但由进程自行决定是否退出，这就是为什么kill -9 终止不了系统进程和守护进程的原因。
kill -9都杀不掉的进程怎么搞
小朱小朱绝不认输的博客
03-30 1万+
怎样杀掉kill -9都杀不掉的进程 Linux系统下经常需要用到杀进程的命令，但有时候kill -9 执行完之后，发现进程号还在，这时候需要如何解决。 （1）kill -9 命令 kill -9 发送SIGKILL信号给进程，将其终止，但对于以下两种情况不适用： （1）僵尸进程。此时该进程已经释放资源，但是没有被父进程释放。僵尸进程要等到父进程结束，或者重启系统才可以被释放。 （2）进程处于核心...
kill -9 进程杀不掉，怎么办？
欢迎关注公众号：【码农突围】，回复9999，可以获取一份LeetCode刷题笔记
08-04 293
点击上方“码农突围”，马上关注这里是码农充电第一站，回复“666”，获取一份专属大礼包真爱，请设置“星标”或点个“在看”来源 |https://blog.csdn.net/21aspn...
连 kill -9 都杀不掉进程，解决方法
最新发布
LoveSummer
10-05 744
kill -9杀不掉进程，有可能是因为该进程是某个进程的子进程，这样的话杀不掉。之后看到条目(父进程PID)PPID=226472，则kill -9 226472即可。
linux kill -9 杀不掉
zuixue_lei的博客
07-18 1203
​ 1、进入到“/proc/进程号”目录下，执行“cat status”命令可以查询到指定进程的父进程。​ 3、利用“kill 进程号”重新删除指定进程即可 【这一步也可以不用执行】​ 2、利用“kill -9 父进程的进程号”将父进程删除掉；1.这个进程是 僵尸进程 2.此进程是"核心态"进程。
kill -9 无法杀死进程解决
qq_43590771的博客
12-22 7816
kill -9无法杀死一般因为是僵尸进程 利用命令查找僵尸进程 ps -A -ostat,ppid,pid,cmd | grep -e '^[Zz]' 命令注解：-A 参数列出所有进程 -o 自定义输出字段 我们设定显示字段为 stat（状态）, ppid（进程父id）, pid(进程id)，cmd（命令）这四个参数 因为状态为 z或者Z的进程为僵尸进程，所以我们使用grep抓取stat状态为zZ进程 直接 kill -9 或者 kill -HUP 父进程 即可 ...
LINUX KILL -9 杀不掉进程解决方法
80后大叔爱学习
01-27 6615
杀掉进程的方法
面试官：kill -9 进程杀不掉，怎么办？
usstmiracle的博客
07-13 626
用ps和grep命令寻找僵尸进 ps -A -ostat,ppid,pid,cmd | grep -e '^[Zz]' 命令注解： -A 参数列出所有进程 -o 自定义输出字段 我们设定显示字段为 stat（状态）, ppid（进程父id）, pid(进程id)， cmd（命令）这四个参数 因为状态为 z或者Z的进程为僵尸进程， 所以我们使用grep抓取stat状态为zZ进程 运行结果参考如下 Z 12334 12339 /path/cmd 这时，我们可以使用 kill -HUP
kill -9 pid杀不死的进程
qq_38335768的博客
03-10 779
查找父进程
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值