python 查看程序的GPU显存占用

引言

主要针对显卡：nvidia
初衷：想要看某个python程序的GPU显存占用量

一、nvidia-smi

在linux下使用nvidia-smi 可以直接显示GPU使用情况¹:
但是在windows下有的时候显示N/A (如下图所示)：

未解之谜²:Windows下NVIDIA-SMI中为什么看不到GPU Memory

二、windows下的任务管理器

任务管理器也可以查看程序GPU占用信息, 点击详细信息, 看专用GPU

小知识³:专用GPU内存 vs 共享GPU内存

三、pynvml库

比较全⁴:python 输出 GPU内存 最大使用率
简洁仅显存⁵:python查看显卡gpu信息

只有输出总GPU的显存占用，并没有找到获取单个程序GPU显存占用的函数
计算单个程序占用会有误差(桌面等程序也会占用GPU,占用量是动态变化的)

四、显存不够用又没钱怎么办

减小batch、减小网络、多用pooling降低数据分辨率 – 可能会降低性能

小知识⁶:Pytorch节省显存小技巧

希望可以做一个不费内存速度快精度还高的实用模型

---

1. Linux查看GPU信息和使用情况 ↩︎

2. Windows下NVIDIA-SMI中为什么看不到GPU Memory ↩︎

3. 专用GPU内存 vs 共享GPU内存 ↩︎

4. python 输出 GPU内存 最大使用率 ↩︎

5. python查看显卡gpu信息 ↩︎

6. Pytorch节省显存小技巧 ↩︎