Hadoop基准测试

Hadoop基准测试

1.HDFS读写测试

1.1.测试HDFS写性能

测试原理

hadoop自带TestDFSIO读写性能测试工具

测试环境

3台服务器-hadoop集群模式：hadoop版本2.7.2  
hadoop命令配置环境变量
配置1台 ：内存16G、CPU4核、宽带1Mbps、SSD500G
配置2台 ：内存4G、CPU2核、宽带1Mbps、SSD500G

测试方案

10个128MB的数据块

测试步骤

• 清空数据，执行如下2个命令

hadoop jar hadoop-mapreduce-client-jobclient-2.7.2.jar -clean
hadoop fs -ls /benchmarks/

• 准备10个128MB的数据块原因

因为HDFS默认一个Block为128MB

• 执行写性能测试（10个mapper,1280MB），执行如下命令

hadoop jar hadoop-mapreduce-client-jobclient-2.7.2.jar TestDFSIO -write 10 -size 1280MB

测试结果

• 关注指标

写入速度：Throughput mb/sec
IO速度：Average IO rate mb/sec
执行总时间：Test exec time sec

• 测试结果如下（截图）

 

 

1.2.测试HDFS读性能

测试原理和测试环境和测