spark
文章平均质量分 65
Aurora丶s
微时光
展开
-
spark - 博文参考
博文参考 Spark中Task,Partition,RDD、节点数、Executor数、core数目的关系和Application,Driver,Job,Task,Stage理解https://www.cnblogs.com/bonelee/p/11063453.html原创 2022-01-12 16:26:34 · 726 阅读 · 0 评论 -
介绍 Qubole 的 Spark 调整工具
更新 Qubole 的 Spark 调优工具现已开源并命名为Sparklens。要做出贡献,请查看https://github.com/qubole/sparklens 的源代码。要使用Sparklens分析您的Spark应用程序,只需将以下附加配置参数添加到 spark-submit 或 spark-shell: --packages qubole:sparklens:0.1.2-s_2.11 --conf spark.extraListeners=com.qubole.sparklens.QuboleJ原创 2021-11-29 11:36:58 · 1244 阅读 · 1 评论 -
Spark 应用优化工具之Sparklens
Sparklens是什么? Sparklens是一个内置 Spark 调度器模拟器的 Spark 分析工具:它可以更容易地理解 Spark 应用程序的可扩展性限制。它有助于了解给定的 Spark 应用程序使用提供给它的计算资源的效率如何。它已在Qubole实施并维护。它是开源的(Apache 许可证 2.0)并已在 Scala 中实现。 Sparklens 的一个有趣特性是它能够通过单次运行 Spark 应用程序生成估计值. 它报告信息,例如估计完成时间和估计的集群利用率与不同数量的执行程序,一个作业/阶段原创 2021-11-29 10:31:38 · 1509 阅读 · 1 评论