HDFS 和 YARN 添加了性能的基准测试集

为什么80%的码农都做不了架构师？>>>   

其中 HDFS 测试包括：
（ 1 ）dfsio基准测试 HDFS I/O 读写性能
（ 2 ）slive基准测试NameNode内部操作的性能
（ 3 ） scan 基准测试MapReduce作业访问 HDFS 的 I/O 性能
（ 4 ） shuffle 基准测试 shuffle 阶段性能
（ 5 ） compression 基准测试MapReduce作业中间结果和最终结果的压缩性能
（ 6 ） gridmix-V3 基准测试集群吞吐率
YARN 测试包括 :
（ 1 ）ApplicationMaster扩展性基准测试
主要测试调度 task/container 的性能。与 1.0 版本比较，大约快 2 倍。
（ 2 ）ApplicationMaster恢复性基准测试
测试 YARN 重启后，作业恢复速度。稍微解释一下ApplicationMaster恢复作业的功能：在作业执行过程中， Application Master 会不断地将作业运行状态保存到磁盘上，比如哪些任务运行完成，哪些未完成等，这样，一旦集群重启或者 master 挂掉，重启后，可复原各个作业的状态，并只需重新运行未运行完成的哪些任务。
（ 3 ）ResourceManager扩展性基准测试
通过不断向Hadoop集群中添加节点测试 RM 的扩展性。
（ 4 ）小作业基准测试
专门测试批量小作业的吞吐率

了解更多详情请登录超人学院网站http://www.crxy.cn?sxy或者关注超人学院微信号：CRXY-CN

转载于:https://my.oschina.net/crxy/blog/708649