Hadoop之HDFS集群吞吐量测试

Hadoop官方在Hadoop安装包的share/hadoop/mapreduce/路径下提供了TestDFSIO工具，专门用于测试HDFS的吞吐量。
Hadoop版本2.6.0

（1）HDFS写性能测试

测试命令

hadoop jar /opt/module/hadoop-2.7.7/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.7-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB

参数介绍
write指测试写性能，nrFiles测试文件个数，fileSize每个测试文件的大小

（2）HDFS读性能测试

测试命令

hadoop jar /opt/module/hadoop-2.7.7/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.7-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 128MB

参数介绍
read指测试读性能，nrFiles测试文件个数，fileSize每个测试文件的大小

（3）删除测试删除的数据

hadoop jar /opt/module/hadoop-2.7.7/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.7-tests.jar TestDFSIO -clean