大数据基准测试BigDataBench4.0安装及使用

前言
BigDataBench已经升级到4.0版本，但是相对应的handbook还是3.x的，在安装配置以及运行实例的时候会遇到各种不可预测的问题。在这里记录下我在使用过程中踩到的雷区。
环境准备
hadoop集群环境已经正确安装，可通过50070端口访问namenode和datanode
在这里也是使用BigDataBench_V4.0_Hadoop进行的测试
下载

wget http://prof.ict.ac.cn/bdb_uploads/bdb_4/packages/BigDataBench_V4.0_Hadoop.tar.gz

解压

tar -zxvf BigDataBench_V4.0_Hadoop

进入根目录

cd BigDataBench_V4.0_Hadoop
ls
#output
BFS  BigDataGeneratorSuite  ComponentBenchmark  conf.properties  gsl-1.15  jarFile  MicroBenchmark  prepar.sh

修改环境变量配置conf.properties
将hadoop bigdatabench java的home变量正确配置

安装gcc g++

#ubuntu16.10
sudo apt-get install gcc

sudo apt-get install g++

运行./prepar.sh

./prepar.sh

若出现找不到make命令错误
则执行

sudo apt-get install make

然后重新执行parper.sh

生成数据
进入目录（以Sort负载为例）

 cd MicroBenchmark/OfflineAnalytics/Sort/

按照说明直接执行./genData_Sort.sh会出现路径找不到 因为文件中的BigdataBench_HOME写错了（Home为小写应当全部大写），需要与conf.properties一致

若出现let commod not find
修改文件头 gen_text_data.sh pgen_text_data.sh

#!/bin/sh 修改为#！/bin/bash

关于两者的区别https://blog.csdn.net/hcbbt/article/details/43305179
运行

./genData_Sort.sh

中间会让输入生成数据量大小 1 2 3。。。
再运行

./run_Sort.sh

在web ui页面可查看数据