大数据压力测试工具HiBench

需求描述：需要测试cdh集群的组件的性能和稳定性。

压力测试工具选型：HiBench

HiBench测试工具说明：

HiBench是一套基准测试套件，用于帮助我们评估不同的大数据框架性能指标（包括处理速度、吞吐等）的负载指标，可以评估Hadoop、Spark和流式负载等

源码下载：wget https://github.com/intel-hadoop/HiBench/archive/HiBench-7.0.zip

源码编译：命令：mvn -Dspark=2.1 -Dscala=2.11 clean package

官方文档：https://github.com/intel-hadoop/HiBench/blob/master/docs/build-hibench.md

 

前提条件：

1)、需要python2.x(>=2.6)

2)、需要linux bc命令，用于生成Hibench 报告，若没有，则安装：yum install bc

 

修改配置：

vim conf/hadoop.conf

hibench.hadoop.home：hadoop安装目录
hibench.hadoop.executable：你的bin/hadoop所在目录，一般是{HADOOP_HOME}/bin/hadoop