HDFS基准测试

实际生产环境当中，hadoop的环境搭建完成后，第一件事就是进行压力测试。测试实际集群的读取和写入速度，测试我们网络宽带是否足够等一些基准测试

测试写入速度

1. 向HDFS文件系统中写入数据，10个文件，每个文件10mb，文件存放/benchmarks/TestDFSIO中
2. hadoop jar /server/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.5.jar TestDFSIO -write -nrFiles 10 -fileSize 10MB2.
3. 完成写入后可以查看本地目录生成的TestDFSIO_results.log文件，也可查看hdfs中文件 hdfs dfs -text /benchmarks/TestDFSIO/io_write/part-00000

 

 

测试读取速度

1. 测试hdfs读取文件性能，向HDFS文件系统中读取数据，10个文件，每个文件10mb
2. hadoop jar /server/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.5.jar TestDFSIO -read -nrFiles 10 -fileSize 10MB
3. 完成写入后可以查看本地目录生成的TestDFSIO_results.log文件，也可查看hdfs中文件 hdfs dfs -text /benchmarks/TestDFSIO/io_read/part-00000

 

 

测试数据清除

1. hadoop jar /server/hadoop-2.7.5/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.5.jar TestDFSIO -clean