SparkUI是Spark的Web界面,提供了丰富的信息和可视化工具,用于监视和调试Spark应用程序。SparkUI主要包含以下几个模块:
- Overview(概述):提供Spark应用程序的概览信息,包括应用程序ID、应用程序名称、应用程序提交时间、应用程序状态等。
- Jobs:提供Spark应用程序中所有执行的作业(Job)的信息,包括作业ID、作业名称、作业提交时间、作业运行状态、作业运行时间、作业运行进度、作业依赖关系等。
- Stages:提供Spark应用程序中所有执行的阶段(Stage)的信息,包括阶段ID、阶段名称、阶段状态、阶段运行时间、阶段运行进度、阶段依赖关系等。
- Executors:提供Spark应用程序中所有执行的执行器(Executor)的信息,包括执行器ID、执行器主机名、执行器端口、执行器状态、执行器内存使用情况、执行器CPU使用情况等。
- Storage:提供Spark应用程序中所有使用的存储(Storage)的信息,包括存储级别、存储大小、存储使用情况等。
- Environment:提供Spark应用程序的环境信息,包括JVM信息、系统属性、Spark配置等。
- SQL:提供Spark SQL应用程序的信息,包括SQL执行计划、SQL统计信息等。
- Streaming:提供Spark Streaming应用程序的信息,包括DStream操作、流处理时间等。
- Jobs DAG(作业DAG):提供Spark应用程序中所有作业之间的依赖关系,以DAG图的形式展示。 以上模块可以帮助用户监视Spark应用程序的运行状态、性能和资源使用情况,以便进行优化和调试。