GPU常见故障问题及处理建议

1、 GPU不识别
GPU识别状态检查，确保lspci命令识别所有GPU，其次确保nvidia-smi 命令识别所有GPU。
lspci | grep -i nvidia 命令输出中确保所有GPU识别正常，并且每个GPU末尾标识为(rev a1)
输出信息末尾为(rev ff)，表示GPU异常
nvidia-smi 显示缺失这张卡

处理建议：对不识别的GPU进行对调测试，判断是否GPU或链路其他部件故障。

2、GPU带宽异常
GPU带宽检查，需要确保GPU当前带宽与额定带宽一致且为x16。
用lspci的命令进行gpu带宽检查
额定带宽：lspci -vvd 设备id | grep -i lnkcap:
当前带宽：lspci -vvd 设备id | grep -i lnksta:

nvidia-smi 命令检查
nvidia-smi -q | grep -i -A 2 'Link width'

处理建议：对带宽异常的GPU进行对调测试，判断是否GPU或链路故障。

3、GPU ERR！报错检查
GPU运行过程中会出现Fan ERR以及功率等ERR报错，可以通过检查nvidia-smi输出中是否包含ERR!报错判断。

处理建议：重启服务器，升级驱动，重启后压测，压测过程中还是出现了err问题，需要换卡

4、 GPU高温
监控平台出现GPU高温告警并且服务器nvidia-smi监控到GPU温度异常

处理建议：检查服务器风扇工作是否正常，检查服务器风扇散热策略，检查bios/BMC固件版本是否正确，检查是否GPU散热膏涂抹不均（NVLink GPU）或GPU故障

5、gpu性能异常
使用cuda自带的检测工具BandwidthTest、P2pBandwidthLatencyTest等程序进行GPU性能检测，不同型号的GPU带宽等表现不同。

处理建议：单服务器单卡gpu故障，对调gpu测试，排除是否是gpu故障；单服务器多卡故障，排查主板bios版本，主板，sas线等故障问题