前言
BigDataBench已经升级到4.0版本,但是相对应的handbook还是3.x的,在安装配置以及运行实例的时候会遇到各种不可预测的问题。在这里记录下我在使用过程中踩到的雷区。
环境准备
hadoop集群环境已经正确安装,可通过50070端口访问namenode和datanode
在这里也是使用BigDataBench_V4.0_Hadoop进行的测试
下载
wget http://prof.ict.ac.cn/bdb_uploads/bdb_4/packages/BigDataBench_V4.0_Hadoop.tar.gz
解压
tar -zxvf BigDataBench_V4.0_Hadoop
进入根目录
cd BigDataBench_V4.0_Hadoop
ls
#output
BFS BigDataGeneratorSuite ComponentBenchmark conf.properties gsl-1.15 jarFile MicroBenchmark prepar.sh
修改环境变量配置conf.properties
将hadoop bigdatabench java的home变量正确配置
安装gcc g++
#ubuntu16.10
sudo apt-get install gcc
sudo apt-get install g++
运行./prepar.sh
./prepar.sh
若出现找不到make命令错误
则执行
sudo apt-get install make
然后重新执行parper.sh
生成数据
进入目录(以Sort负载为例)
cd MicroBenchmark/OfflineAnalytics/Sort/
按照说明直接执行./genData_Sort.sh会出现路径找不到 因为文件中的BigdataBench_HOME写错了(Home为小写应当全部大写),需要与conf.properties一致
若出现let commod not find
修改文件头 gen_text_data.sh pgen_text_data.sh
#!/bin/sh 修改为#!/bin/bash
关于两者的区别https://blog.csdn.net/hcbbt/article/details/43305179
运行
./genData_Sort.sh
中间会让输入生成数据量大小 1 2 3。。。
再运行
./run_Sort.sh
在web ui页面可查看数据