Linux用户对GPU的日常管理（英伟达）

最新推荐文章于 2024-07-25 18:51:49 发布

DuckOnMoon

最新推荐文章于 2024-07-25 18:51:49 发布

阅读量1.4k

点赞数

分类专栏： linux 文章标签： linux gpu

本文链接：https://blog.csdn.net/hizcard/article/details/106222876

版权

linux 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

2020/05/19

我们在服务器上跑代码最常用的就是NVIDIA显卡，如GTX2080，下面记录一下我找到的常用代码。

在NVIDIA显卡可以正常使用以后，输入

nvidia-smi

就可以看到一个包含每张显卡型号、显存使用情况、利用率、占用线程等信息，非常全面。

这个命令配合 watch 可以实现实时监控，是我最常用的命令：

watch -n 1 nvidia-smi

其中 -n 1 设定每1秒执行一次 nvidia-smi 命令。设定为1秒是因为有些版本的 nvidia-smi 命令执行较慢，同时比较吃cpu。不过 watch 命令会由于窗口大小限制而不能显示全部内容，如下图中看不到占用每张卡的具体进程。

按 Ctrl + C 组合键退出 watch 监视。

在跑多进程程序的时候，有时候主进程程序挂掉了，但子进程程序还在默默地占用显存。一般表现为单张卡被占用显存，但其利用率保持为0%，且 nvidia-smi 看不到占用该卡的进程。例如上图中1卡的占用显存如果改为 5754MiB，其它不变，那么1卡就可能被僵尸进程占用显存了。

这里有一个神奇的命令，它可以查看当前用户占用每张卡的所有进程。

fuser -v /dev/nvidia*

那么上面列出来的进程就是 yiyuiii 现在与第0张卡有交互的进程。将进程号喂给 kill 指令，就可以关闭它们。

kill -9 [PID]

kill 命令可以批量关闭进程，只需把进程号PID 列在右边。在上面的情况中，命令为

kill -9 17521 17540 17541 17542 17543 17544 17545 17546 17547 17551 17555 17556 17557 17558 17559 17560 17561 18304 18332 18333 18334 18335 18336 18337 18338 18339 18340 18344 18345 18346 18347 18348 18349

另外，作为一位自动化选手，这里提供一个 python 程序来提取 kill 所需的进程号列表。

import os
import re

with open('rawtext.txt','r') as f:
    s = f.read()
    pattern = re.compile(r'\d+')   # 查找数字
    results = pattern.findall(s)
    output = ''
    if results:
        for result in results:
            output += result + ' '
    print(output)

2020/06/03

对于使用了nohup命令文件输入/输出的情形，下面代码能够直接精准得到进程PID：