Spark_Bench使用文档

Spark_Bench使用文档

1. 什么是Spark-Bench

SparkBench是Spark的基准测试组件(集成了很多spark支持的经典测试案列)。 它大致包含四种不同类型的测试案例，包括机器学习，图形处理，流处理和SQL查询。

Spark-Bench所选择的测试案例可以，在不同的工作负载情况下测试出系统瓶颈; 目前，我们大致涵盖了CPU，内存和Shuffle以及IO密集型工作负载（测试案例）。

它还包括一个数据生成器，允许用户生成任意大小的输入数据。

2. 为什么是Spark-Bench

虽然Spark已经快速发展，但spark社区缺乏为Spark量身定做的基准测试组件。这种组件的目的是帮助用户了解不同系统设计之间的优缺点，同时指导如何进行Spark配置优化，更好的进行集群配置。特别是SparkBench有四个主要的用例。

用例1、它可以对Spark系统优化进行定量比较，如缓存策略优化、内存管理优化，调度策略优化的定量比较。研究开发人员可以使用SparkBench来全面评估、比较优化过后和原始Spark的性能差异。

用例2、它为不同平台和硬件集群设置（如Google云和Amazon云）提供定量比较。

用例3、它为集群大小和配置提供指导。它还有助于确定瓶颈资源，并最大限度地减少资源争用的影响。

用例4、它允许深入研究Spark系统在各种方面的性能影响，包括工作负载表征，参数影响研究，Spark系统的可扩展性和容错行为。

机器学习测试案例：逻辑回归、支持向量机、矩阵分解

图计算测试案例： PageRank、SVD++、三角计数（Triangle Count）

SQL查询测试案例：Hive、RDDRelation

流处理测试案例： Twitter Tag 、 Page View

其他测试案例：Kmeans , 线性回归 , 决策树,最短路径, 标签传播, 连通图，强连通图

3. 如何开始

3.1   系统环境配置

安装JDK，Hadoop，spark运行环境

1、要运行新版本的SparkBench, 在安装SparkBench之前要先下载并安装wikixmlj，进入到一个目录后直接执行clone命令下载

git clone https://github.com/synhershko/wikixmlj.git

cd wikixmlj

mvn package -Dmaven.test.skip=true

mvn intsll  -Dmaven.test.skip=true

注：上面两条mvn命令原本是mvn package install命令转换而来，直接运行打包和安装命令会报在test过程出错，所以我们要设置跳过测试打包和安装，运行成功后就会在wikixmlj/target/下载生成wikixmlj-1.0-SNAPSHOT.jar文件，同时会安装到maven 仓库中。

2、下载 SparkBench基准测试组件：

https://github.com/SparkTC/spark-bench/tree/legacy

解压后，首先运行bin目录下的build-all.sh文件去build整个SparkBench工程，在这个过程中主要是更据工程的pom.xml文件去网上下载SparkBench工程依赖的所有jar包。

./SPARK_BENCH_HOME/bin/build-all.sh

3、可以通过修改SPARK_BENCH_HOME的conf目录下的env.sh对配置Spark-Bench环境

SPARK_HOME=/home/hadoop/Spark-1.6.0-bin-hadoop2.6.0

HADOOP_HOME=/home/hadoop/hadoop-2.6.0

SPARK_MASTER=spark://master:7077

HDFS_MASTER=hdfs://master:9000/

3.2   SparkBench配置

可以通过修改SPARK_BENCH_HOME的conf目录下的env.sh对配置Spark-Bench环境,保证下列环境变量一定要设置。

SPARK_HOME=/home/hadoop/Spark-1.6.0-bin-hadoop2.6.0

HADOOP_HOME=/home/hadoop/hadoop-2.6.0

SPARK_MASTER=spark://master:7077

HDFS_MASTER=hdfs://master:9000/

 

Local mode:（本地模式）

DATA_HDFS="file:///home/whoami/SparkBench" SPARK_MASTER=local[2] MC_List=""

 

3.3   执行

Scala版本执行方式：

直接进入相应案例的目录的bin目录下，先自动生成测试数据，然后再运行

<SPARK_BENCH_HOME>/<Workload>/bin/gen_data.sh

<SPARK_BENCH_HOME>/<Workload>/bin/run.sh

 

Java版本执行方式：

<SparkBench_Root>/<Workload>/bin/gen_data_java.sh

<SparkBench_Root>/<Workload>/bin/run_java.sh

 

在运行SQL查询案例时应该注意的：

在运行SQL查询案例时，默认是运行其中的RDDRelation案例，如果要想运行其中的Hive案例可以执行下面代码：

<SPARK_BENCH_HOME>/SQL/bin/run.sh  hive

 

在运行Streaming案例时应该注意的：

在运行流数据处理案例时，例如TwitterTag，Streaming逻辑回归，

首先在一个终端中执行<SPARK_BENCH_HOME>/Streaming/bin/gen_data.sh

然后再另一个终端中执行<SPARK_BENCH_HOME>/Streaming/bin/run.sh

而且在执行脚本时必须要指定你要运行案例名字的参数，如下：

<SPARK_BENCH_HOME>/Streaming/bin/gen_data.sh TwitterPopularTags

<SPARK_BENCH_HOME>/Streaming/bin/run.sh TwitterPopularTags

当然你也可以在Streaming/conf/env.sh 配置文件中指定你要运行的子案例的名称，通过修改 subApp= TwitterPopularTags。

3.4   如何查看结果

可以直接去<SPARK_BENCH_HOME>/report  目录下去查看最后的结果

4. 高级配置

4.1   配置你要运行的案例

<SPARK_BENCH_HOME>/bin/run-all.sh 可以运行所有在<SPARK_BENCH_HOME>/bin/applications.lst中指定的所有案例，applications.list中每一行都指定一个要运行的案例。

当然你也可以单独运行每一个案例，在每一个案例的根目录下都有三个文件：

<Workload>/bin/config.sh    案例配置文件

<Workload>/bin/gen_data.sh  案例测试数据生成文件

<Workload>/bin/run.sh       案例运行文件

4.2   Apache Spark运行配置

 Spark运行时的各种配置可以在配置文件中指定，如指定下面的参数：

spark.executors.memory

 Executor memory,

standalone or YARN mode

spark.driver.memory

 Driver memory,

 standalone or YARN mode

spark.rdd.cache

------------------------------------以下是具体配置----------------------------

#配置附图

1.进入到conf文件配置env.sh

cd /opt/xintongyuan/spark-bench-legacy/conf

vim env.sh(修改下面画红线部分为现有集群环境)

SPARK_HOME The Spark installation location
HADOOP_HOME The HADOOP installation location
SPARK_MASTER Spark master
HDFS_MASTER HDFS master

Local mode:
DATA_HDFS="file:///home/whoami/SparkBench" SPARK_MASTER=local[2] MC_List=""

 

下面是调整spark执行参数部分（默认如下：）

SPARK_EXECUTOR_MEMORY=1g

 SPARK_DRIVER_MEMORY=2g

SPARK_EXECUTOR_INSTANCES=4

SPARK_EXECUTOR_CORES=1

 # Storage levels, see http://spark.apache.org/docs/latest/api/java/org/apache/spark/api/java/StorageLevels.html
# - STORAGE_LEVEL, set MEMORY_AND_DISK, MEMORY_AND_DISK_SER, MEMORY_ONLY, MEMORY_ONLY_SER, or DISK_ONLY
STORAGE_LEVEL=MEMORY_AND_DISK

# for data generation
NUM_OF_PARTITIONS=2
# for running
NUM_TRIALS=1

备注：如果集群开启了kerberos认证，则所有节点均需要登录同一用户，否则报错，参考下面issue

http://community.cloudera.com/t5/Advanced-Analytics-Apache-Spark/Issue-on-running-spark-application-in-Yarn-cluster-mode/m-p/50719