hibench是hadoop的基准测试框架

最新推荐文章于 2024-05-09 09:52:31 发布
最新推荐文章于 2024-05-09 09:52:31 发布
阅读量2.3k 收藏
点赞数
分类专栏： 测试工具

hibench作为一个测试hadoop的基准测试框架，提供了对于hive：（aggregation，scan，join），排序（sort，TeraSort），大数据基本算法（wordcount，pagerank，nutchindex），机器学习算法（kmeans，bayes），集群调度（sleep），吞吐（dfsio），以及新加入5.0版本的流测试：
we provide following streaming workloads for SparkStreaming, Storm .
这里写图片描述

一个完整的TeraSort测试需要按以下三步执行：

  • 用TeraGen生成随机数据
  • 对输入数据运行TeraSort
  • 用TeraValidate验证排好序的输出数据

所有hibench测试基本都是这样的流程，生成数据，运行，输出结果。

3.2 配置并编译HiBench

从GitHub下载HiBench开源包，本篇会基于HiBench-5.0为例。https://github.com/intel-hadoop/HiBench。如果是基于CDH 5.5测试，建议使用HiBench-5.0，其中包含了Spark 1.5的编译包。

编译

  • 添加JAVA_HOME 环境变量
  • 注释掉${HIBENCH_HOME} /src/streambench/pom.xml中两行
<!-- <module>stormbench</module> -->
<!-- <module>samzabench</module> -->
  • 1
  • 2
  • 调用编译脚本：${HIBENCH_HOME}/bin/build-all.sh

配置

  • 编辑 HiBench Configuration File：

    cd ${HIBENCH_HOME}/conf

    cp 99-user_defined_properties.conf.template 99-user_defined_properties.conf

    编译配置文件，如下修改一些参数：

    hibench.hadoop.home      /opt/cloudera/parcels/CDH/lib/hadoop
    hibench.hadoop.mapreduce.home       /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce
    hibench.spark.home       /opt/cloudera/parcels/CDH/lib/spark
    hibench.hdfs.master       hdfs://cdh-node-11.cdhtest.com
    hibench.hadoop.configure.dir       /etc/hadoop/conf
    hibench.masters.hostnames       master # Resource Manager addresses
    hibench.slaves.hostnames       hostname…

    # Node Manager addresses

    hibench.spark.master       yarn-client
    hibench.spark.version       spark1.6
    spark.kryoserializer.buffer       2000m # 否则会出现大量spark.kryoserializer.buffer.mb被启用的警告
    hibench.streamingbench.zookeeper.host       zookeeper-hostnames
    hibench.streamingbench.brokerList       all-hostnames
    hibench.streamingbench.kafka.home       /opt/cloudera/parcels/KAFKA

  • 修改benchmarks.lst文件，只运行有必要的测试集，例：

    #aggregation
    #join
    #kmeans
    #pagerank
    #scan
    #sleep
    sort
    wordcount
    #bayes
    terasort
    #nutchindexing
    dfsioe

  • 修改language.lst文件，只运行有必要的语言

    cd ${HIBENCH_HOME}/conf

    在language.lst文件中，将以下两行删除

    spark/java
    spark/python

  • 修改load-config.py文件，确保Bench在运行时能找到唯一的包：

    $HiBench-Home/bin/functions/load-config.py

    将hadoop-mapreduce-client-jobclient*-tests.jar改为hadoop-mapreduce-client-jobclient-tests.jar

  • Bench在运行时有一些固化的目录和CDH不一致，需要建立目录引用

    建立目录引用

    mkdir -p /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/share/hadoop
    cd /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce/share/hadoop
    ln -sf /opt/cloudera/parcels/CDH/lib/hadoop-mapreduce mapreduce2

  • Bench会在HDFS根目录下生成文件，将HDFS的根目录权限修改为777：

    sudo -u hdfs hadoop fs -chmod 777 /

  • （可选）如果在Kerberos启用的状况下，请增加以下步骤：

    # 设置环境变量
    export HIBENCH_HOME=/root/Downloads/HiBench-master
    export JAVA_HOME=/usr/java/jdk1.7.0_67-cloudera
    export JAVA_LIBRARY_PATH=$JAVA_LIBRARY_PATH:/opt/cloudera/parcels/CDH/lib/hadoop/lib/native
    export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/opt/cloudera/parcels/CDH/lib/hadoop/lib/native
    export SPARK_YARN_USER_ENV=”JAVA_LIBRARY_PATH=$JAVA_LIBRARY_PATH,LD_LIBRARY_PATH=$LD_LIBRARY_PATH”

    # 重新登录Kerberos
    kdestroy
    kinit -k -t

运行

  • 命令行输入
    ${HIBENCH_HOME}/bin/run-all.sh

3.3 HiBench基本优化配置

**优化基本原则** 在固定数据量的前提下，一般设置成让MapReduce作业在一轮Map、Reduce内结束，否则会增加MapReduce进程的调度开销。但如果输入的数据量过大，有可能会因为单个Map或者Reduce的内存消耗过大而到时严重的GC问题，这个需要在运行时对Map或者Reduce任务进程需要监测。 **YARN基本配置**

––
NodeManagerContainer vCores数量就是系统的virtual core的数量
Container Memory配置成节点上可用内存的75%到80%之间（如128GB的机器，可以设置96GB）
ResourceManagerFair Scheduler调度器
最小容器内存1GB
最小容器CPU 1个核
最大容器内存=NodeManager Container内存的75%~80%
最大容器CPU=NodeManager Container CPU的75%~80%
增量内存512MB
增量CPU 1个核
Gatewaymapreduce.map/reduce.max.mb = 2GB
mapreduce.map/reduce.java.opts = max.mb * 0.8

附录（CDH 相关目录结构功能简介）

**1.相关目录**

/var/log/cloudera-scm-installer : 安装日志目录。
/var/log/* : 相关日志文件（相关服务的及CM的）。
/usr/lib64/cmf/ : Agent程序代码。
/var/lib/cloudera-scm-server-db/data : 内嵌数据库目录。
/usr/bin/postgres : 内嵌数据库程序。
/etc/cloudera-scm-agent/ : agent的配置目录。
/etc/cloudera-scm-server/ : server的配置目录。
/etc/clouder-scm-server/db.properties 默认元数据库用户名密码配置
/opt/cloudera/parcels/ : Hadoop相关服务安装目录。
/opt/cloudera/parcel-repo/ : 下载的服务软件包数据，数据格式为parcels。
/opt/cloudera/parcel-cache/ : 下载的服务软件包缓存数据。
/etc/hadoop/* : 客户端配置文件目录。

**2.配置**

  • Hadoop配置文件：

配置文件放置于/var/run/cloudera-scm-agent/process/目录下。如：

/var/run/cloudera-scm-agent/process/193-hdfs-NAMENODE/core-site.xml

这些配置文件是通过Cloudera Manager启动相应服务（如HDFS）时生成的，内容从数据库中获得（即通过界面配置的参数）。

在CM界面上更改配置是不会立即反映到配置文件中，这些信息会存储于数据库中，等下次重启服务时才会生成配置文件。且每次启动时都会产生新的配置文件。

CM Server主要数据库为scm基中放置配置的数据表为configs。里面包含了服务的配置信息，每一次配置的更改会把当前页面的所有配置内容添加到数据库中，以此保存配置修改历史。

scm数据库被配置成只能从localhost访问，如果需要从外部连接此数据库，修改

vim /var/lib/cloudera-scm-server-db/data/pg_hba.conf

文件,之后重启数据库。运行数据库的用户为cloudera-scm。

  • 查看配置内容

直接查询scm数据库的configs数据表的内容。
访问REST API： http://hostname:7180/api/v4/cm/deployment，返回JSON格式部署配置信息。

  • 配置生成方式

CM为每个服务进程生成独立的配置目录（文件）。所有配置统一在服务端查询数据库生成（因为scm数据库只能在localhost下访问）生成配置文件，再由agent通过网络下载包含配置文件的zip包到本地解压到指定的目录。

  • 配置修改
    CM对于需要修改的配置预先定义，对于没有预先定义的配置,则通过在高级配置项中使用xml配置片段的方式进行配置。而对于/etc/hadoop/下的配置文件是客户端的配置，可以在CM通过部署客户端生成客户端配置。

    1. 数据库
      Cloudera manager主要的数据库为scm,存储Cloudera manager运行所需要的信息：配置，主机，用户等。

    2. CM结构
      CM分为Server与Agent两部分及数据库（自带更改过的嵌入Postgresql）。它主要做三件事件：
      管理监控集群主机。
      统一管理配置。
      管理维护Hadoop平台系统。
      实现采用C/S结构，Agent为客户端负责执行服务端发来的命令，执行方式一般为使用python调用相应的服务shell脚本。Server端为Java REST服务，提供REST API，Web管理端通过REST API调用Server端功能，Web界面使用富客户端技术（Knockout）。
      Server端主体使用Java实现。
      Agent端主体使用Python, 服务的启动通过调用相应的shell脚本进行启动，如果启动失败会重复4次调用启动脚本。
      Agent与Server保持心跳，使用Thrift RPC框架。

    3. 升级
      在CM中可以通过界面向导升级相关服务。升级过程为三步：
      1.下载服务软件包。
      2.把所下载的服务软件包分发到集群中受管的机器上。
      3.安装服务软件包，使用软链接的方式把服务程序目录链接到新安装的软件包目录上。

    4. 卸载
      sudo /usr/share/cmf/uninstall-scm-express.sh, 然后删除/var/lib/cloudera-scm-server-db/目录，不然下次安装可能不成功。

    5. 开启postgresql远程访问
      CM内嵌数据库被配置成只能从localhost访问，如果需要从外部查看数据，数据修改vim /var/lib/cloudera-scm-server-db/data/pg_hba.conf文件,之后重启数据库。运行数据库的用户为cloudera-scm。

参考文献

1.CDH官方文档
2.http://www.cloudera.com/documentation.html
3.CDH5.8官方文档 http://www.cloudera.com/documentation/enterprise/latest.html
4.http://blog.selfup.cn/1631.html#comment-403
5.https://github.com/intel-hadoop/HiBench

--------------------- 作者：shiter 来源：CSDN 原文：https://blog.csdn.net/wangyaninglm/article/details/52729682?utm_source=copy 版权声明：本文为博主原创文章，转载请附上博文链接！

武晓兵
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop现有测试框架探幽
01-31
从使用hadoop的第一天开始，就一直没有离开过对Hadoop自身功能的开发以及hadoop本身bug的修复的相关开发。这样的开发模式已经持续了好几年，但是可以从中发现的一个现象：对于我们修复的bug或者开发的功能，一直都没有一种很规范，很统一，高效，好管理，并且一目了然的测试的方式。常常的现象是：开发了一个功能或修复了一个bug后，就针对该修改进行一些人为手动的环境模拟和测试，然后测试确认没有问题以后，就合入基线版本进行打包上线。这种模式的缺点是：1.没有统一的测试框架和测试规范，很容易导致做一次修改，就需要认为的搭建或模拟一些针对该修改的现象进行测试，而这次测试完成后，环境撤掉，又没
HiBench成长笔记——(6) HiBench测试结果分析
weixin_30377461的博客
06-06 568
Scan Join Aggregation Scan Join Aggregation Scan Join Aggregation Scan Join Aggregat...
大数据基准测试工具HiBench部署与测试
Faith_xzc
03-17 5209
本文介绍了大数据基准测试工具HiBench的部署，并进行了测试。欢迎大家交流讨论！
【Hibench 】完成 HDP-Spark 性能测试
康师傅没有眼泪
08-19 1714
HiBench是Intel推出的一个大数据基准测试工具，可以帮助评估不同的大数据框架在速度、吞吐量和系统资源利用方面评估不同的大数据框架的性能表现。它包含一组Hadoop、Spark和流式WorkLoads，包括Sort、WordCount、TeraSort、Repartition、Sleep、SQL、PageRank、Nutch索引、Bayes、Kmeans、NWeight和增强型DFSIO等。在进行Hibench的时候可以指定Spark和Scala的版本，通过如下参数指定。
大数据测试学习笔记之基准测试HiBench_hibench worldcount
2401_84183033的博客
04-28 578
同样的它还可以用于评估Spark Stream、Flink、Storm和Gearpump。
HIbench
jason的笔记
03-08 3554
HIbench 是一个大数据的benchmark测试的套件，用来测试框架的速度，吞吐率，资源利用率等。 其网站是https://github.com/intel-hadoop/HiBench 其支持的框架如下： 我这边以spark测试为例 下载Hibench  https://github.com/intel-hadoop/HiBench Hibench 遇到下面问题
intel-hadoop/HiBench流程分析----以贝叶斯算法为例
weixin_33676492的博客
10-23 461
1.HiBench算法简介 Hibench 包含9个典型的hadoop负载（micro benchmarks,hdfs benchmarks,web search bench marks,machine learning benchmarks和data analytics benchmarks） 具体参考CDH集群安装&测试...
Hibench大数据基准测试手册 - 修订1.docx
09-11
Hibench是一款用于评估不同大数据处理框架性能的大数据基准测试套件。它可以帮助用户衡量不同框架的速度、吞吐量以及系统资源利用情况。Hibench支持多种工作负载，包括但不限于Hadoop、Spark以及流式处理框架（如...
Hadoop新MapReduce框架Yarn详解
03-04
对于业界的大数据存储及分布式处理系统来说，Hadoop是耳熟能详的卓越开源分布式文件存储及处理框架，对于Hadoop框架的介绍在此不再累述，读者可参考Hadoop官方简介。使用和学习过老Hadoop框架（0.20.0及之前版本）的...
hibench大数据性能测试工具
04-15
大数据性能测试工具，压缩包里包含安装工具及测试说明
大数据测试学习笔记之基准测试HiBench
zhusongziye的博客
03-19 4421
简介HiBench是一套基准测试套件，用于帮助我们评估不同的大数据框架性能指标（包括处理速度、吞吐等）的负载指标，可以评估Hadoop、Spark和流式负载等，具体的工作负载有：SortWordCountTeraSortSleepSQLPageRankNutch indexingBayesKmeansNWeightenhanced DFSIO等等同样的它还可以用于评估Spark Stream、Fl...
大数据平台CDH性能测试之Hibench
测试小菜蝶
08-24 3865
CDH性能测试之HiBenchHiBench简介 在大数据领域，集群的性能主要是整体的网络和数据吞吐量决定的。使用Hibench测试时，使用传统电口千兆网络的任务，运行时间比光网任务慢10s左右。Hibench是用来衡量CDH性能的基准测试集，包含：文件系统IO性能，系统的批处理吞吐，数据仓库OLAP分析算子，机器学习的处理能力，以及流处理系统的能力。 HiBench简介 Hibench是Intel推出的大数据基准测试工具，提供对hive（aggregation，scan，join），排序（sort，TER
Hibench大数据基准测试使用教程
u011563666的博客
02-08 5233
本文主要介绍：Hibench的使用以及Hibench测试相关配置一、安装Hibench1、下载Hibenchwget https://github.com/intel-hadoop/HiBench/archive/HiBench-7.0.zip2、编译所有模块（注意：编译前，确保系统中已经安装好了maven）命令：mvn -Dspark=2.1 -Dscala=2.11 clean package...
浅析HiBench之SparkBench（集群）配置
Yannick Jiang 的专栏
08-29 1554
一 、前言: 1. 语术： Hadoop 版本: Version 2.7.1 HiBench 版本：Version 6.0 Spark 版本：Version 2.1.0 Scala 版本： scala-2.11.12 java: jdk8 集群节点：1master + 3 slaves 二、搭建Spark on yarn 集群 基于单节点Spark 配置 https://blog.csd...
HiBench成长笔记——(4) HiBench测试Spark SQL
weixin_30399155的博客
06-05 516
很多内容之前的博客已经提过，这里不再赘述，详细内容参照本系列前面的博客：https://www.cnblogs.com/ratels/p/10970905.html和https://www.cnblogs.com/ratels/p/10976060.html 执行脚本 bin/workloads/sql/scan/prepare/prepare.sh 返回信息 [root@...
如何使用HiBench进行基准测试
liweiminlining的专栏
01-03 296
大数据性能测试工具
探秘大数据基准测试：HiBench Suite
最新发布
gitblog_00058的博客
05-09 263
探秘大数据基准测试：HiBench Suite 项目地址:https://gitcode.com/Intel-bigdata/HiBench 一、项目简介 在大数据的世界里，性能优化和框架评估是关键任务之一。这就是HiBench Suite的作用所在。作为一个强大的大数据微基准套件，HiBench致力于提供针对Hadoop、Spark以及流处理框架的详尽性能测评。它的最新版本为7.1.1，涵盖了一...
HiBench：Hadoop集群性能分析工具
"HiBench是一个用于基准测试和性能分析的开源工具，主要用于评估和比较大数据处理框架，如Hadoop和Spark的性能。这个工具集由Intel China Software Center开发，旨在提供一个标准化的平台来衡量Hadoop集群的性能、...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值