Spark2.1.0事件总线分析——SparkListenerBus详解

泰山不老生

于 2018-09-18 10:07:03 发布

阅读量2.2k

点赞数

分类专栏：大数据 Spark Scala 深入理解Spark 文章标签： spark 事件 scala SparkListenerBus SparkListenerEvent

本文链接：https://blog.csdn.net/beliefer/article/details/82745127

版权

本文详细介绍了SparkListenerBus的实现，它实现了ListenerBus的doPostEvent方法，根据SparkListenerEvent匹配并执行监听器的方法。SparkListenerEvent是一个特质，而SparkListenerStageSubmitted和SparkListenerStageCompleted等是其子类。SparkListenerInterface定义了监听器应遵循的接口。当事件发生时，postToAll方法同步调用doPostEvent进行事件匹配和处理。在Spark UI中，LiveListenerBus用于异步投递消息，以实现页面即时刷新。

摘要由CSDN通过智能技术生成

阅读提示：阅读本文前，最好先阅读《Spark2.1.0之源码分析——事件总线》和《Spark2.1.0事件总线分析——ListenerBus的继承体系》。

有了《Spark2.1.0之源码分析——事件总线》文中对ListenerBus的定义及《Spark2.1.0事件总线分析——ListenerBus的继承体系》文中对ListenerBus类继承体系的介绍，本小节将详细介绍SparkListenerBus的实现，见代码清单1。

代码清单1 SparkListenerBus的实现

private[spark] trait SparkListenerBus
  extends ListenerBus[SparkListenerInterface, SparkListenerEvent] {

  protected override def doPostEvent(
      listener: SparkListenerInterface,
      event: SparkListenerEvent): Unit = {
    event match {
      case stageSubmitted: SparkListenerStageSubmitted =>
        listener.onStage