Spark2.1.0事件总线分析——LiveListenerBus详解_park.scheduler.listenerbus.eventqueue.size-CSDN博客

本文链接：https://blog.csdn.net/beliefer/article/details/82849089

本文深入解析Spark2.1.0中的LiveListenerBus，它是SparkListenerBus的子类，实现事件的异步投递，提升UI界面实时性。LiveListenerBus包含一个事件阻塞队列，通过listenerThread线程异步处理事件，当队列满时，会删除旧事件并记录。此外，文章还介绍了LiveListenerBus如何接收和处理事件，以及与监听器的协作机制。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

阅读提示：阅读本文前，最好先阅读《Spark2.1.0之源码分析——事件总线》、《Spark2.1.0事件总线分析——ListenerBus的继承体系》及《Spark2.1.0事件总线分析——SparkListenerBus详解》几篇文章的内容。

LiveListenerBus继承了SparkListenerBus，并实现了将事件异步投递给监听器，达到实时刷新UI界面数据的效果。LiveListenerBus主要由以下部分组成：

eventQueue：是SparkListenerEvent事件的阻塞队列，队列大小可以通过Spark属性spark.scheduler.listenerbus.eventqueue.size进行配置，默认为10000（Spark早期版本中属于静态属性，固定为10000，这导致队列堆满时，只得移除一些最老的事件，最终导致各种问题与bug）；
started：标记LiveListenerBus的启动状态的AtomicBoolean类型的变量；
stopped：标记LiveListenerBus的停止状态的AtomicBoolean类型的变量；
droppedEventsCounter：使用AtomicLong类型对删除的事件进行计数，每当日志打印了droppedEventsCounter后，会将droppedEventsCounter重置为0；
lastReportTimestamp：用于记录最后一次日志打印droppedEventsCounter的时间戳；
processingEvent：用来标记当前正有事件被listenerThread线程处理；
logDroppedEvent：AtomicBoolean类型的变量，用于标记是否由于eventQueue已满，导致新的事件被删除；
eventLock：用于当有新的事件到来时释放信号量，当对事件进行处理时获取信号量；
listeners：继承自LiveListenerBus的监听器数组；
listenerThread：处理事件的线程。