本文介绍了如何测试Hadoop HDFS的读写性能以及使用Sort程序评估MapReduce的性能。通过TestDFSIO进行写入10个128MB文件的测试，然后进行读取相同文件的测试，并在完成测试后清理数据。接着，利用RandomWriter生成随机数，执行Sort程序对数据进行排序，并验证排序结果的正确性。
为了今后对集群读写文件所需时间有所估算，可以对集群读写性能进行测试
1） 测试HDFS写性能
测试内容：向HDFS集群写10个128M的文件
[atguigu@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB
2）测试HDFS读性能
测试内容：读取HDFS集群10个128M的文件
[atguigu@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -read -nrFiles 10 -fileSize 128MB
3）删除测试生成数据
[atguigu@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.2-tests.jar TestDFSIO -clean
4）使用Sort程序评测MapReduce
（1）使用RandomWriter来产生随机数，每个节点运行10个Map任务，每个Map产生大约1G大小的二进制随机数
[atguigu@hadoop102 mapreduce]$ hadoop jar /opt/module/hadoop-2.7.2/share/hadoop/mapredu
最低0.47元/天 解锁文章
575
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
