【HDFS】问题排查记录：Nvme盘故障导致DataNode节点读写操作吞吐降为0，命令队列堆积

周末遇到一个比较典型的线上故障问题，记录一下排查过程、原因、处理方法。

一、问题发现

2024-07-13上午10:33收到告警提醒，发现问题，开始处理。

由于此问题不是非常紧急，影响业务正常运行的问题，因此先不紧急恢复，而是保留现场，用于定位问题。
如果说遇到了其他严重的问题，需要第一时间恢复保证业务的正常运行。

去看监控，不光DN的命令队列堆积，而且7月13日00点开始，已经没有read、write、remove操作个数了（dataset操作都没有了），很异常。（这里需要补充操作数为0的异常告警）

二、问题定位

还有一个监控比较特殊，就是DataXceiver的线程数，