Ubuntu 20.04 实时查看GPU使用情况

使用两种方法，实时查看 GPU 使用情况；彻底杀死制定进程

1. nvidia-smi

使用终端命令 nvidia-smi 查看显卡信息

如果你想实时检测显卡使用情况，添加 watch -n 即可

watch -n 4 nvidia-smi

其中，4 是指 4 秒刷新一次终端，可以根据自己的需求设置

2.gpustat

安装过程很简单，直接 pip 即可（本人是这样），使用 gpustat --json 以 json 形式呈现 gpu 信息
使用 gpustat -i 命令可以查看用户使用 gpu 情况
使用以下命令，可以查看更具体的信息，比如用户 xxx 的 xxx 进程占用情况

watch --color -n 1 gpustat -cpu

3.总结

nvidia-smi 方法显示的内容更全面，包括 pid
gpustat 方法可以定位到某个用户的某个任务占用 gpu 情况

4.杀进程

我们经常遇到卡死进程然后用 ctrl + z 强制关闭程序的情况，这样关掉的进程不会被释放，还占用内存空间，可以使用以下命令彻底杀死进程
A.查看强关的进程信息

jobs -l

B.彻底杀死进程

kill -9 pid

C.批量杀进程

pkill xxx

其中 xxx 是关键字