【工具篇】如何优雅地监控显卡(GPU)使用情况？

这是一篇非常基础的记录：如何优雅地监控服务器GPU使用情况？下面总结4个最常用的方式：

1. nvidia-smi (最有名，没有之一) 🌟🌟
2. gpustat (彩色并简约的显示) 🌟🌟🌟🌟
3. nvtop (完整的信息，需root权限apt安装，不是非常方便) 🌟🌟🌟
4. nvitop (完整的信息，可作为Python的库安装，非常方便) 🌟🌟🌟🌟🌟

工具1：nvidia-smi

直接在终端输入nvidia-smi可以得到显卡情况：

nvidia-smi

如果希望自动刷新这个命令，可以输入如下命令：

nvidia-smi -l

如上方式会显示历史信息和当前信息，如果只想看当前信息，则可以执行如下命令实现每1s刷新一次：

watch -n 1 nvidia-smi

安装方式
nvidia-smi是系统指令

工具2：gpustat

这个命令相比nvidia-smi更加好看一些，命令如下：

gpustat

显然这种带高亮的显示看起来更舒服，而且可以显示出完整显卡的完整名称，以及正在使用GPU的用户。一个缺点就是不能像nvidia-smi一样显示出各个进程的信息。
如果希望每秒刷新这个信息，并只显示当前信息，则执行以下命令：

watch -n 1 -c gpustat --color

或者直接更加简单的命令即可（推荐）：

gpustat -i

安装方式
作为系统的包进行安装：

sudo apt install gpustat

作为Python库进行安装：

pip install gpustat

工具3：nvtop

网上很多人说这个工具非常好用，能够非常优雅地全面地监控显卡信息，官方图如下（显示显卡使用情况以及详细的折线图）：

这个方法看起来会很高大上，但是由于这个工具的安装需要root权限，所以暂时就不尝试这个方法了。

安装方式

sudo apt install nvtop

方法4：nvitop

想要拥有nvtop那样详细的展示，又想拥有gpustat那样彩色的界面，并且希望能够像gpustat一样通过pip快速安装，那就不得不提nvitop工具了。

nvitop

展示的模式有三种：

1. auto (默认)
2. compact
3. full

如果希望展示超完整的显卡信息，则用如下命令：

nvitop -m full

我认为这个工具最好用的地方不在于彩色文字和进度条，而在于它能够完整地显示出每个进程的执行用户、运行时长、执行指令以及每个进程所使用的GPU编号。可谓是集其他工具的优势于一身的实用主义工具了！

安装方式

pip install nvitop