nvidia-smi查看GPU的使用信息并分析

登入服务器后,输入命令(注意中间无空格):

nvidia-smi

或者可以使用命令(可以自动实时刷新GPU的使用情况):

nvidia-smi -l

如果要周期性地输出显卡的使用情况,可以用watch指令实现(命令行参数-n,后边跟的是执行命令的周期,以s为单位。所以下面的命令表示,每10s刷新一下显示):

watch -n 10 nvidia-smi

上图显示的显卡信息,第一行是版本信息,第二行是标题栏,第三行是具体的显卡信息。如果有多个显卡,就会有多行对应标题栏的信息。例如我上面显示了共0~4号,共5个卡。

  • GPU:显卡编号,从0开始。
  • Fan:风扇转速,在0~100%之间变动。这个速度是计算机期望的风扇转速,实际情况下如果风扇堵转,可能就不会显示具体转速值。有的设备不会返回转速,因为它不依赖风扇冷却,而是通过其他外设保持低温,比如我们实验室的服务器是常年放在空掉房间里面的。
  • Name:显卡名,以上都是Tesla。
  • Temp:显卡内部的温度,以上分别是54、49、46、50、39摄氏度。
  • Perf:性能状态,从P0到P12,P0性能最大,P12最小 。
  • Persistence-M:持续模式的状态开关,持续模式虽然耗能大,但是在新的GPU应用启动时,花费的时间更少。以上都是Off的状态。
  • Pwr:能耗表示。
  • Bus-Id:涉及GPU总线的相关信息。
  • Disp.A:是Display Active的意思,表示GPU的显示是否初始化。
  • Memory-Usage:显存的使用率
  • GPU-Util:GPU的利用率
  • Compute M.:计算模式。
  • 下面的Process显示每块GPU上每个进程所使用的显存情况。

显卡占用和GPU占用是两个不一样的东西,显卡是由GPU和显卡等组成的,显卡和GPU的关系有点类似于内存和CPU的关系,两个指标的占用率不一定是互相对应的。例如跑tensorflow代码的时候,可能显存占得多,GPU占得少。

 

我使用该命令,主要是看 Memory-Usage 信息,避免使用了其他伙伴已经占用的显卡,然后在代码中就可以指定空闲的GPU。例如上图服务器显示前4个卡都在用,我就在我的tensorflow代码中 指定使用第5个卡好了。

import os
os.environ["CUDA_VISIBLE_DEVICES"] = '4'  # 指定使用第5块GPU

 

补充

查看内存使用情况:

free -m

查看CPU使用情况:

top

 

参考:https://blog.csdn.net/Cloudox_/article/details/78651637

  • 53
    点赞
  • 96
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
### 回答1: zabbix-nvidia-smi-multi-gpu是一个用于监控多个NVIDIA GPU的Zabbix插件。它通过NVIDIA System Management Interface(nvidia-smi)来获取GPU的相关信息,并将这些信息发送到Zabbix服务器进行监控和分析。 这个插件在多GPU环境中非常有用,特别是在服务器集群或大规模GPU集群中。它可以帮助管理员实时监控每个GPU使用情况、温度、功耗以及其他性能指标,以便更好地管理和优化GPU集群的资源。 使用zabbix-nvidia-smi-multi-gpu插件,管理员可以轻松配置Zabbix服务器来监控和收集GPU的数据。插件会定期执行nvidia-smi命令以获取GPU信息,并将这些数据发送到Zabbix服务器上的特定主机。 在Zabbix服务器上,管理员可以设置触发器和报警规则,当GPU使用率或温度超过设定的阈值时,会触发报警通知。这样管理员就可以及时采取措施来解决GPU过热或过载的问题,确保系统的稳定性和可靠性。 总而言之,zabbix-nvidia-smi-multi-gpu是一个强大的插件,为管理员提供了实时监控和管理多个GPU的功能。通过使用该插件,管理员可以更好地优化GPU集群的性能,确保系统的正常运行。 ### 回答2: zabbix-nvidia-smi-multi-gpu是一个用于监控多个GPU设备的Zabbix插件。在服务器上安装了多个显卡设备,该插件可以帮助我们实时监控各个GPU的性能和使用情况。 该插件基于NVIDIASMI(System Management Interface)工具开发,通过查询SMI的API来获取GPU信息。它可以监测GPU的温度、利用率、电源使用情况、显存使用情况等指标,并将这些信息传递给Zabbix监控系统。 使用zabbix-nvidia-smi-multi-gpu插件,我们可以在Zabbix的监控面板上实时查看多个GPU的状态。我们可以了解每个GPU的温度是否正常,以及其负载情况。如果某个GPU的温度过高或负载过载,我们可以及时采取措施,如调整风扇速度或优化算法,以保证GPU的稳定性和性能。 此外,zabbix-nvidia-smi-multi-gpu还具有告警功能,当GPU的某些参数超过预设的阈值时,它会发出警报通知管理员。这样,我们可以在GPU出现故障或异常情况时快速采取措施,避免系统崩溃或性能下降。 总之,zabbix-nvidia-smi-multi-gpu是一个方便实用的插件,可用于监控多个GPU设备的性能和状态。它可以帮助我们追踪GPU使用情况,提供有价值的数据,以优化系统性能和提高工作效率。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值