Hadoop慢磁盘监控

        “慢磁盘”指的时写入数据非常慢的一类磁盘。其实慢性磁盘并不少见，当机器运行时间长了，上面跑的任务多了，磁盘的读写性能自然会退化，严重时就会出现写入数据延时的问题。

        如何发现慢磁盘？

        正常在HDFS上创建一个目录，只需要不到1s的时间。如果你发现创建目录超过1分钟及以上，而且这个现象并不是每次都有。只是偶尔慢了一下，就很有可能存在慢磁盘。

可以采用如下方法找出是哪块磁盘慢：

1）通过心跳未联系时间。

一般出现慢磁盘现象，会影响到DataNode与NameNode之间的心跳。正常情况心跳时间间隔是3s。超过3s说明有异常。

 

2）fio命令，测试磁盘的读写性能

（1）顺序读测试

sudo yum install -y fio

sudo fio -filename=/home/mingyu/test.log -direct=1 -iodepth 1 -thread -rw=read -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_r

 

结果显示，磁盘的总体顺序读速度为180MiB/s。

（2）顺序写测试

sudo fio -filename=/home/mingyu/test.log -direct=1 -iodepth 1 -thread -rw=write -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_w

 

结果显示，磁盘的总体顺序写速度为145MiB/s。

（3）随机写测试

sudo fio -filename=/home/mingyu/test.log -direct=1 -iodepth 1 -thread -rw=randwrite -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_randw

 

结果显示，磁盘的总体随机写速度为135MiB/s。

（4）混合随机读写：

sudo fio -filename=/home/mingyu/test.log -direct=1 -iodepth 1 -thread -rw=randrw -rwmixread=70 -ioengine=psync -bs=16k -size=2G -numjobs=10 -runtime=60 -group_reporting -name=test_r_w -ioscheduler=noop

 

结果显示，磁盘的总体混合随机读写，读速度为116MiB/s，写速度45.5MiB/s。