干货分享：SparkBench--Spark平台的基准性能测试

SparkBench简介

SparkBench是Spark的基准性能测试项目，由来自IBM Watson研究中心的五位研究者（Min Li, Jian Tan, Yandong Wang, Li Zhang, Valentina Salapura）发起，并贡献至开源社区。

SparkBench的测试项目覆盖了Spark支持的四种最主流的应用类型，即机器学习、图计算、SQL查询和流数据计算。每种类型的应用又选择了最常用的几个算法或者应用进行比对测试，测试结果从系统资源消耗、时间消耗、数据流特点等各方面全面考察，总体而言是比较全面的测试。

所有的研究结果以论文的形式公开发布，原文可在SparkBench的官方网站下载，测试相关的数据和代码也可下载供测试使用，本文将主要的研究结果呈现给大家。

SparkBench的目的

SparkBench最主要的目的是通过基准性能测试，研究Spark与传统计算平台的不同之处，为搭建Spark平台提供参考和通用指导原则。具体而言SparkBench可以在如下场景中发挥作用：

1、重点领域需要有参考数据和定量分析结果，包括：Spark缓存设置、内存管理优化、调度策略；

2、需要不同硬件、不同平台中运行Spark的性能参照数据；

3、寻找Spark集群规划指导原则，帮助定位资源配置中的瓶颈，通过合理的配置使资源竞争最小化；

4、需要从多个角度深入分析Spark平台，包括：负载类型、关键配置参数、扩展性和容错性等

SparkBench测试项目

SparkBench主要的的测试项目&