SparkUI使用心得

SparkUI：轻松掌握集群状态和作业运行情况

SparkUI 是一个非常实用的工具，它可以直观地展示集群中的各个 worker 节点的状态。通过 SparkUI，你不仅可以看到每个 worker 节点的 CPU 核数和内存使用情况，还可以跟踪各个作业在集群中运行的详细信息，包括哪些 executor 在运行、作业在哪些节点执行，以及作业的本地性级别等。

查看 Worker 节点状态

在 SparkUI 界面中，你可以轻松地点击每个 worker 节点，查看其详细信息。

点击某个 worker 节点后，你将看到该节点的资源使用情况和正在运行的任务。

通过 Spark Shell 运行作业

如果你通过 spark-shell 运行作业，可以在 SparkUI 中点击 spark-shell 来查看该作业的执行情况。

点击 spark-shell 后，你将看到作业的运行状态和执行详情。

查看作业的详细信息

如果你想深入了解每个作业的执行细节，可以点击对应作业的描述。

在作业详情页面，你可以查看各个任务的运行情况、资源消耗等详细信息。

通过点击描述，你可以进一步挖掘每个作业的执行过程，了解作业在集群中的分布情况。