Spark2.1.0——SparkUI的实现

最新推荐文章于 2024-04-17 22:51:50 发布

泰山不老生

最新推荐文章于 2024-04-17 22:51:50 发布

阅读量4.1k

点赞数 15

分类专栏：大数据 Spark 深入理解Spark 文章标签： spark SparkUI Core listenerBus SparkListenerEvent

本文链接：https://blog.csdn.net/beliefer/article/details/84101135

版权

SparkUI是Spark的Web监控页面，它利用事件监听机制提高监控效率。事件来源如DAGScheduler、SparkContext等发送事件到listenerBus，再由SparkListener更新监控数据。SparkUI界面包括StagesTab、JobsTab等多个标签页，提供Web和控制台的监控展示。SparkStatusTracker和ConsoleProgressBar辅助监控，SparkUI基于WebUI框架构建。

摘要由CSDN通过智能技术生成

任何系统都需要提供监控功能，否则在运行期间发生一些异常时，我们将会束手无策。也许有人说，可以增加日志来解决这个问题。日志只能解决你的程序逻辑在运行期的监控，进而发现Bug，以及提供对业务有帮助的调试信息。当你的JVM进程奔溃或者程序响应速度很慢时，这些日志将毫无用处。好在JVM提供了jstat、jstack、jinfo、jmap、jhat等工具帮助我们分析，更有VisualVM的可视化界面以更加直观的方式对JVM运行期的状况进行监控。此外，像Tomcat、Hadoop等服务都提供了基于Web的监控页面，用浏览器能访问具有样式及布局，并提供丰富监控数据的页面无疑是一种简单、高效的方式。

Spark自然也提供了Web页面来浏览监控数据，而且Master、Worker、Driver根据自身功能提供了不同内容的Web监控页面。无论是Master、Worker，还是Driver，它们都使用了统一的Web框架WebUI。Master、Worker及Driver分别使用MasterWebUI、WorkerWebUI及SparkUI提供的Web界面服务，后三者都继承自WebUI，并增加了个性化的功能。此外，在Yarn或Mesos模式下还有WebUI的另一个扩展实现HistoryServer。HistoryServer将会展现已经运行完成的应用程序信息。本章以SparkUI为例，并深入分析WebUI的框架体系。