Spark2.1.0事件总线分析——LiveListenerBus详解

阅读提示：阅读本文前，最好先阅读《Spark2.1.0之源码分析——事件总线》、《Spark2.1.0事件总线分析——ListenerBus的继承体系》及《Spark2.1.0事件总线分析——SparkListenerBus详解》几篇文章的内容。

LiveListenerBus继承了SparkListenerBus，并实现了将事件异步投递给监听器，达到实时刷新UI界面数据的效果。LiveListenerBus主要由以下部分组成：

• eventQueue：是SparkListenerEvent事件的阻塞队列，队列大小可以通过Spark属性spark.scheduler.listenerbus.eventqueue.size进行配置，默认为10000（Spark早期版本中属于静态属性，固定为10000，这导致队列堆满时，只得移除一些最老的事件，最终导致各种问题与bug）；
• started：标记LiveListenerBus的启动状态的AtomicBoolean类型的变量；
• stopped：标记LiveListenerBus的停止状态的AtomicBoolean类型的变量；
• droppedEventsCounter：使用AtomicLong类型对删除的事件进行计数，每当日志打印了droppedEventsCounter后，会将droppedEventsCounter重置为0；
• lastReportTimestamp：用于记录最后一次日志打印droppedEventsCounter的时间戳；
• processingEvent：用来标记当前正有事件被listenerThread线程处理；
• logDroppedEvent：AtomicBoolean类型的变量，用于标记是否由于eventQueue已满，导致新的事件被删除；
• eventLock：用于当有新的事件到来时释放信号量，当对事件进行处理时获取信号量；
• listeners：继承自LiveListenerBus的监听器数组；
• listenerThread：处理事件的线程。

异步事件处理线程

         listenerThread用于异步处理eventQueue中的事件，为了便于说明，这里将展示listenerThread及LiveListenerBus中的主要代码片段，见代码清单1。

代码清单1         LiveListener