【大模型应用开发-实战】（四）nvitop: 史上最强GPU性能实时监测工具

一、概况

相信大家在用NVIDIA-GPU训练网络模型的时候，都会习惯性的在终端nvidia-smi一下吧？最直接的目的是为了查看哪些卡正在使用，哪些卡处在空闲，然后挑选空闲的卡号进行网络训练。

「了解哪块卡处在空闲只是普通算法工程师的普通需求」

咱们作为一名资深的算法工程师，毕竟身兼多职：上要开发AI算法，下要管理服务器，左要带新人，右要PPT汇报上级。

对于管理服务器：刚买的新服务器你得装系统吧？得装Driver，Cuda，Cudnn吧？时不时还得盯一下服务器各个卡的运行状况，毕竟刚入职的小年青有时候一顿操作，一个人占用全服务器95%以上的内存把服务器直接卡死也不是没有可能。

nvitop是一个非常全面的NVIDIA-GPU设备运行状况的实时监控工具，它将GPU利用率，显存占比，卡号使用者，CPU利用率，进程使用时间，命令行等等集于一身，并以差异化的颜色进行个性化展示，安装过程也非常简单，强烈大家推荐使用，让自己在管理服务器的时候事半功倍！

相比于nvidia-smi命令，nvitop在实时监控GPU设备资源&性能上具备全方位优势：

• 以更美观的颜色，和更直观的进度条实时展示某块GPU卡所处进程的GPU&CPU内存以及利用率占比
• 作为资源监控器，它包括如下功能：树状视图、环境变量查看、进程过滤、进程指标检测等
• 可追踪某个单项进程在GPU&CPU上内存和利用率占比的历史纪录，并利用Bar直观展示
• 可直观展示某块GPU的使用者、使用时间、使用命令行、GPU和CPU占用率记录
• 可使用工具提供的API搭建自定义监控工具

二、nvitop特性

监控信息丰富且展示直观

显示比nvidia-smi更全面的资源监控信息，和更直观的表现形式

监控模式

可以作为资源监控器一直运行，而不是只能单独查看一次结果

• 支持条形图和历史图
• 监控信息排序 & 监控信息过滤
• 可通过键盘向进程发送信号
• GPU进程及其父进程的树视图屏幕享受
• 提供环境变量屏幕，帮助信息屏幕，并支持鼠标点击的交互式操作

交互式

可在监控模式下响应用户输入（来自键盘或鼠标），比gpustat和py3nvml更具优势

高效性

• 该工具直接使用NVML Python bindings进行绑定并查询设备运行状态，而不是解析nvidia-smi（与nvidia-htop相比）
• TTLCache使用from cachetools支持稀疏查询和缓存结果（与py3nvml相比）
• curses使用库而不是printANSI转义码显示信息（与py3nvml相比）
• 使用多线程异步收集信息并更快的响应用户输入（与nvtop相比）

便携性

适用于Linux和Windows

• 使用跨平台库psutil获取主机进程信息，而不是调用ps -p <pid>子进程（与nvidia-htop和py3nvml相比）
• 用纯Python编写，支持pip安装（与nvtop相比）

可集成

易于集成到其它应用程序中，而不仅仅是监控功能（与nvidia-htop和nvtop相比）

三、安装指南

「官方安装教程」 https://github.com/XuehaiPan/nvitop/blob/main/README.md

因为nvitop采用纯Python编写，所以推荐采用pip命令进行安装，官方安装说明文档中提供了五种安装方式：

• 使用pipx进行安装

pipx run nvitop

• 使用pip3进行安装

pip3 install --upgrade nvitop

• 使用conda进行安装

conda install -c conda-forge nvitop

• 从Github拉取最新版本进行安装

pip3 install git+https://github.com/XuehaiPan/nvitop.git#egg=nvitop

• clone项目并手动安装

git clone --depth=1 https://github.com/XuehaiPan/nvitop.git
cd nvitop
pip3 install .

「注意」 如果在安装后遇到nvitop: command not found错误，请检查你是否将Python控制台脚本路径（例如，${HOME}/.local/bin）添加到您的PATH环境变量中。或者，你可以直接使用python3 -m nvitop命令

四、使用方法

命令行使用方法

# Monitor mode (when the display mode is omitted, `NVITOP_MONITOR_MODE` will be used)
$ nvitop  # or use `python3 -m nvitop`

# Automatically configure the display mode according to the terminal size
$ nvitop -m auto     # shortcut: `a` key

# Arbitrarily display as `full` mode
$ nvitop -m full     # shortcut: `f` key

# Arbitrarily display as `compact` mode
$ nvitop -m compact  # shortcut: `c` key

# Specify query devices (by integer indices)
$ nvitop -o 0 1  # only show <GPU 0> and <GPU 1>

# Only show devices in `CUDA_VISIBLE_DEVICES` (by integer indices or UUID strings)
$ nvitop -ov

# Only show GPU processes with the compute context (type: 'C' or 'C+G')
$ nvitop -c

# Use ASCII characters only
$ nvitop -U  # useful for terminals without Unicode support

# For light terminals
$ nvitop --light

# For spectrum-like bar charts (requires the terminal supports 256-color)
$ nvitop --colorful