7. 如何在训练过程中监控GPU状态（gpustat/nvidia-smi/nvitop）

这个专栏记录我学习/科研过程中遇到的一些小问题以及解决方案，一些问题可能比较蠢请见谅。自用，仅供参考。

------------------------------------------------------------------------------------

如何在训练过程中监控GPU状态

1. gpustat

使用pip install gpustat即可安装gpustat。

输入gpustat，将返回一个当前GPU状态的快照

输入以下命令，将时刻刷新地监控GPU状态：

watch -n 0.1 gpustat -cpu

再进一步给状态信息添加色彩：

watch -n 0.1 -c gpustat --color

一种更简洁的方式：

gpustat -i

2. nvidia-smi

另一种方式是使用nvidia-smi（中间没有空格！）：

watch -n 0.1 nvidia-smi

3. nvitop

使用pip install nvitop即可安装nvitop。nvitop能够以彩色的方式详细显示显卡信息和进程情况，非常直观。使用时，键入：

nvitop -m type

其中，type为展示模式，通常有以下三种：auto、compact、full，例如nvitop -m full。