拾伍：SparkUI：高效定位性能问题一级页面(JOB-STAGE-STORAGE-ENVIRONMENT-EXECUTE-SQL)

for your wish

已于 2022-01-26 21:02:32 修改

阅读量877

点赞数

CC 4.0 BY-SA版权

文章标签： spark 大数据 big data

于 2022-01-26 20:30:26 首次发布

本文链接：https://blog.csdn.net/someInNeed/article/details/122708178

Spark 专栏收录该内容

41 篇文章 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文以Spark UI为工具，通过一个实际应用案例，讲解如何使用Spark UI的一级入口（Executors、Environment、Storage、SQL、Jobs、Stages）来定位性能问题。文章详细介绍了每个入口的功能，提供了关键度量指标的解析，帮助开发者理解Spark应用的运行状态和潜在问题。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

Spark Core 与 Spark SQL 运行得是否稳定与高效，决定着 Spark 作业或是应用的整体“健康状况”。不过，在日常的开发工作中，我们总会遇到 Spark 应用运行失败、或是执行效率未达预期的情况。对于这类问题，想找到根本原因（Root Cause），我们往往需要依赖 Spark UI 来获取最直接、最直观的线索。

如果我们把失败的、或是执行低效的 Spark 应用看作是“病人”的话，那么 Spark UI 中关于应用的众多度量指标（Metrics），就是这个病人的“体检报告”。结合多样的 Metrics，身为“大夫”的开发者即可结合经验来迅速地定位“病灶”。

今天这一讲，让我们以小汽车摇号中“倍率与中签率分析”的应用（详细内容你可以回顾第 13 讲）为例，用图解的方式，一步步地去认识 Spark UI，看一看它有哪些关键的度量指标，这些指标都是什么含义，又能为开发者提供哪些洞察（Insights）？这里需要说明的是，Spark UI 的讲解涉及到大量的图解、代码与指标释义，内容庞杂。因此，为了减轻你的学习负担，我按照 Spark UI 的入口类型（一级入口、二级入口）把 Spark UI 拆成了上、下两讲。一级入口比较简单、直接，我们今天这一讲，先来讲解这一部分，二级入口的讲解留到下一讲去

了解本专栏

超级会员免费看