深度学习中GPU和显存分析

Linux查看GPU信息和使用情况

1.查询命令

在linux中，命令行输入nvidia-smi指令即可看到当前nvidia显卡的使用情况

2.参数释义

• Fan：显示风扇转速，数值在0到100%之间，是计算机的期望转速，如果计算机不是通过风扇冷却或者风扇坏了，显示出来就是N/A；
• Temp：显卡内部的温度，单位是摄氏度；
• Perf：表征性能状态，从P0到P12，P0表示最大性能，P12表示状态最小性能；
• Pwr：能耗表示；
• Bus-Id：涉及GPU总线的相关信息；
• Disp.A：是Display Active的意思，表示GPU的显示是否初始化；
• Memory Usage：显存的使用率；
• Volatile GPU-Util：浮动的GPU利用率；
• Compute M：计算模式；

下边的Processes显示每块GPU上每个进程所使用的显存情况。

如果要周期性的动态输出显卡的使用情况，可以在终端输入watch -n 1 nvidia-smi ，-n后面的数字是更新的时间间隔(秒)

 

深度学习中GPU和显存分析（科普）

作者：陈云
链接：https://zhuanlan.zhihu.com/p/31558973
来源：知乎

深度学习最吃机器，耗资源，在本文，我将来科普一下在深度学习中：

• 何为“资源”
• 不同操作都耗费什么资源
• 如何充分的利用有限的资源
• 如何合理选择显卡

并纠正几个误区：

• 显存和GPU等价，使用GPU主要看显存的使用？
• Batch Size 越大，程序越快，而且近似成正比？
• 显存占用越多，程序越快？
• 显存占用大小和batch size大小成正比？

0.预备知识

nvidia-smi是Nvidia显卡命令行管理套件，基于NVML库，旨在管理和监控Nvidia GPU设备。nvidia-smi 命令的输出，其中最重要的两个指标：

• 显存占用
• GPU 利用率

显存占用和 GPU 利用率是两个不一样的东西，显卡是由 GPU 计算单元和显存等组成的，显存和 GPU 的关系有点类似于内存和 CPU 的关系。

这里推荐一个好用的小工具：gpustat, 直接pip install gpustat即可安装，gpustat基于nvidia-smi可以提供更美观简洁的展示

结合 watch 命令，watch --color -n1 gpustat -cpu，可以动态实时监控GPU 的使用情况

显存可以看成是空间，类似于内存。

• 显存用于存放模型和数据等
• 显存越大，所能运行的网络也就越大

GPU 计算单元类似于 CPU 中的核，用来进行数值计算。衡量计算量的单位是 <