Hibench 中sparkbench 安装及使用

最新推荐文章于 2023-08-19 13:16:33 发布

「已注销」

最新推荐文章于 2023-08-19 13:16:33 发布

阅读量1.7k

点赞数 3

文章标签： d

本文链接：https://blog.csdn.net/CIYU01/article/details/88573915

版权

概述：

Hibench 是 Intel 开源的大数据基准测试工具，可以评估不同大数据框架的速度，吞吐量和系统资源利用率。包括 Sort, WordCount, TeraSort, Sleep, SQL, PageRank, Nutch indexing, Bayes, Kmeans, NWeight 和 enhanced DFSIO等，还支持流任务的基准测试，例如 Spark Streaming, Flink, Storm 和 Gearpump。

它支持的框架有：hadoopbench、sparkbench、stormbench、flinkbench、gearpumpbench。

环境准备：

HiBench需要java环境，以及Maven管理。

安装java运行环境以及maven，添加环境变量（此处简单那省略。。。）

下载HiBench：

Github地址：https://github.com/intel-hadoop/HiBench

注意事项：1、Python 2.x(>=2.6) is required.
                 2、bc is required to generate the HiBench report.（如没有bc工具，执行yum install bc）
                 3、Supported Hadoop version: Apache Hadoop 2.x, CDH5.x, HDP
                 4、Build HiBench according to build HiBench.
                 5、Start HDFS,