【Spark】Spark Web UI - Jobs

最新推荐文章于 2024-06-23 16:52:06 发布

和风与影

最新推荐文章于 2024-06-23 16:52:06 发布

阅读量752

点赞数

分类专栏： Spark 大数据文章标签： spark 前端大数据

本文链接：https://blog.csdn.net/weixin_45545090/article/details/125239455

版权

工作中经常会出现 Spark SQL 执行很慢或者失败的情况，如果要排查问题，就必须要学会看 Spark Web UI。可以参考官网来学习：https://spark.apache.org/docs/3.2.1/web-ui.html#content。关于 Spark Web UI，上面有很多个 tab 页，今天开始逐一学习。

在这里插入图片描述

首先是 Jobs。

Jobs Tab

The Jobs tab displays a summary page of all jobs in the Spark application and a details page for each job. The summary page shows high-level information, such as the status, duration, and progress of all jobs and the overall event timeline. When you click on a job on the summary page, you see the details page for that job. The details page further shows the event timeline, DAG visualization, and all stages of the job.

作业选项卡显示 Spark 应用程序中所有作业的摘要页面以及每个作业的详细信息页面。摘要页面显示高级信息，例如所有作业的状态、持续时间和进度以及整个事件时间线。当您单击摘要页面上的作业时，您会看到该作业的详细信息页面。详细信息页面进一步显示了事件时间