本文详细介绍了Spark Web UI的各个部分，包括Jobs、Jobs Detail、Stages Detail、Storage、Storage Detail、Environment、Executor和SQL选项卡。内容涵盖Job状态、Stage调度、Executor资源、数据缓存和SQL查询优化等方面，帮助用户深入了解Spark应用程序的运行情况。
1.Jobs
User: spark任务提交的用户，用以进行权限控制与资源分配。
Total Uptime: spark application总的运行时间，从appmaster开始运行到结束的整体时间。
Scheduling Mode: application中task任务的调度策略，由参数spark.scheduler.mode来设置，可选的参数有FAIR和FIFO，默认是FIFO。这与yarn的资源调度策略的层级不同，yarn的资源调度是针对集群中不同application间的，而spark scheduler mode则是针对application内部task set级别的资源分配，不同FAIR策略的参数配置方式与yarn中FAIR策略的配置方式相同。
Completed Jobs: 已完成Job的基本信息，如想查看某一个Job的详细情况，可点击对应Job进行查看。
Active Jobs: 正在运行的Job的基本信息。
Event Timeline: 在application应用运行期间，Job和Exector的增加和删除事件进行图形化的展现。这个就是用来表示调度job何时启动何时结束，以及Excutor何时加入何时移除。我们可以很方便看到哪些job已经运行完成，使用了多少Excutor，哪些正在运行。
Job默认都是串行提交运行的，如果Job间没有依赖，可以使用多线程并行提交Job。
2.Jobs Detail
Staus: 展示Job的当前状态信息。
Active Stages: 正在运行的stages信息
最低0.47元/天 解锁文章
扫一扫
1384
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
