最近又被GPU利用率问题导致训练不高效的问题搞到了(恼),所以在py使用代码看看是哪出了问题。
import subprocess
def get_gpu_utilization():
# 运行nvidia-smi命令
smi_output = subprocess.check_output(['nvidia-smi', '--query-gpu=utilization.gpu', '--format=csv,noheader,nounits']).decode().strip()
# 可以返回一个列表,其中包含每个GPU的利用率
gpu_utilization = [int(x) for x in smi_output.split('\n')]
return gpu_utilization
# 在你想要检查GPU利用率的代码位置调用这个函数
gpu_util = get_gpu_utilization()
print(f"Current GPU Utilization: {gpu_util}%")