查看linux节点gpu显存使用情况

我们在使用公共节点时经常要看每个节点的使用情况，本文可以解决逐个连接才能查看的问题。

nvidia-smi --query-gpu=memory.free,memory.used,utilization.gpu --format=csv

#memory.total：显存大小
#memory.total：显存使用了多少
#utilization.gpu：GPU使用率
#输出
memory.free [MiB], memory.used [MiB], utilization.gpu [%]
9712 MiB, 1727 MiB, 1 %
9713 MiB, 1726 MiB, 3 %
10160 MiB, 1279 MiB, 1 %
10157 MiB, 1282 MiB, 0 %
10157 MiB, 1282 MiB, 2 %
10156 MiB, 1283 MiB, 2 %
10154 MiB, 1285 MiB, 2 %
10154 MiB, 1285 MiB, 0 %
10151 MiB, 1288 MiB, 4 %
10149 MiB, 1290 MiB, 5 %
10094 MiB, 1345 MiB, 2 %
10091 MiB, 1348 MiB, 1 %

查看其他节点计算资源

ssh username@ip_address  nvidia-smi --query-gpu=memory.free,memory.used,utilization.gpu --format=csv

或写成脚本

#dispmemory.sh
echo '显示节点'$1'内存'
ssh hlzhang@$1  nvidia-smi --query-gpu=memory.free,memory.used,utilization.gpu --format=csv

./dispmemory k231
输出
显示节点231内存
memory.free [MiB], memory.used [MiB], utilization.gpu [%]
10478 MiB, 963 MiB, 90 %
10479 MiB, 962 MiB, 1 %
11430 MiB, 11 MiB, 0 %
11430 MiB, 11 MiB, 0 %
11430 MiB, 11 MiB, 0 %
11430 MiB, 11 MiB, 0 %
11430 MiB, 11 MiB, 0 %
11430 MiB, 11 MiB, 0 %
11430 MiB, 11 MiB, 0 %
11430 MiB, 11 MiB, 0 %
11430 MiB, 11 MiB, 0 %
11430 MiB, 11 MiB, 0 %