Hadoop测试——HDFS基准测试

Hadoop基准测试

 

数据节点3台：8C/32GB /chunkdata01:1.2T

 

HDFS：3.46TB

YARN：Memory：24GB=8G*3 Vcores:18C=6C*3

 

写入数据：

TestDFSIO

• 第一次测试：失败

写入30*100GB（单个副本）的文件，执行时间：11:06-11:56(失败)

hadoop jar hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0-tests.jar TestDFSIO -write -nrFiles 30 -fileSize 100000

 

作业执行50分钟左右被标记为UNASSIGNED,UNASSIGNED是在创建task阶段卡住了。

查看yarn状态，发现3台nodemanager都已处于UNHEALTHY列表：

 

查看3台数据节点的磁盘状态：

发现HDFS和YARN作业日志的挂载点/chunkdata01达到91%，

YARN默认，当挂载磁盘占用90%或者磁盘达到最小的空间大小0M时，会将该盘列入UNHEALTHY，若主机中达到UNHEALTHY列表的磁盘数达到1/4时，则该主机nodemanager会处于UNHEALTHY状态，不会再向该节点分配任务。

该次测试满足以上条件，故3台节点都处于UNHEALTHY状态，导致测试失败。

将yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage参数调整为99.0

将yarn.nodemanager.disk-health-checker.min-free-space-per-disk-mb参数调整为2048

 

• 第二次测试：成功

写入10*100GB（单副本）的文件，执行时间：13:05-13:45，用时40分钟。

hadoop jar hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 100000

可以看到/benchmarks下的存储达到2.9T（3个副本）

 

读取数据:

读取10*100GB的文件，执行时间：17：48-18：00，用时11分钟左右。

hadoop jar hadoop-mapreduce-client-jobclient-2.6.0-cdh5.14.0-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 100000

测试结果：

 

 

 

 

 

 

 

 

 

 

 

 

 

 

......