gpustat : Linux下监控GPU状态

nvidia-smi是 Nvidia 显卡命令行管理套件，基于 NVML 库，旨在管理和监控 Nvidia GPU 设备

这个指令的输出的两个重要指标：显存占用和GPU 利用率
显存占用和 GPU 利用率是两个不一样的东西，显卡是由 GPU 计算单元和显存等组成的，显存和 GPU 的关系有点类似于内存和 CPU 的关系。

在此推荐另一个好用的工具 gpustat
gpustat直接用pip install gpustat即可安装

gpustat 基于nvidia-smi，可以提供更美观简洁的展示，结合 watch 命令，可以动态实时监控 GPU 的使用情况

watch --color -n1 gpustat -cpu

tips：
显存可以看成是空间，类似于内存，用于存放模型，数据
显存越大，运算能力越强，所能运行的网络也就越大
GPU 计算单元类似于 CPU 中的核，用来进行数值计算。衡量计算量的单位是 flop： the number of floating-point multiplication-adds，浮点数先乘后加算一个 flop。计算能力越强大，速度越快。
衡量计算能力的单位是 flops： 每秒能执行的 flop 数量