介绍 Qubole 的 Spark 调整工具

更新

Qubole 的 Spark 调优工具现已开源并命名为Sparklens。要做出贡献，请查看https://github.com/qubole/sparklens 的源代码。要使用Sparklens分析您的Spark应用程序，只需将以下附加配置参数添加到 spark-submit 或 spark-shell：

--packages qubole:sparklens:0.1.2-s_2.11
--conf spark.extraListeners=com.qubole.sparklens.QuboleJobListener

Spark已被证明是处理 TB 或更大的大型数据集的出色引擎。由于大规模分布式和并行化设置中的容错数据处理，其应用程序适用于从机器学习和高级分析到大规模 ETL 批量转换的所有领域。然而，Spark 的一个缺陷是它在配置和争论方面是一头野兽。如果操作不当，大规模运行不同工作负载所需的大量配置可能会使其不稳定。

现在，我们通过托管的自动扩展解决方案使这个过程更加自助化，以便在您首选的云基础设施中运行 Spark。为了实现这一使命，我们构建了一个基于 Spark 侦听器框架的工具，该工具仅通过查看应用程序的一次运行来提供有关给定 Spark 应用程序的洞察力。

用户在配置和运行Spark 应用程序时面临的常见问题之一是决定执行程序的数量或应用程序应使用的内核数量。通常，这个过程是通过反复试验来完成的，这需要时间并且需要运行超出正常使用范围的集群（读取浪费的资源）。此外，它没有告诉我们去哪里寻找进一步的改进。使用 Qubole 的 Spark Tuning Tool 来优化生产中的 Spark 作业。

2018年1月22日由罗希特Karlupia，Qubole和Shefali AGGARWAL 更新2021年9月4日
更新：Qubole 的 Spark 调优工具现已开源并命名为Sparklens。要做出贡献，请查看https://github.co