Spark中的事件处理分析

一.当初始化SparkContext时，需要初始化Spark Env需要接受3个参数

_env = createSparkEnv(_conf, isLocal, listenerBus)
上文listenerBus实例是LiveListenerBus同时继承自AsynchronousListenerBus和SparkListenerBus，都属于
ListenerBus的子类
A.关于ListenerBus
An event bus which posts events to its listeners.
1.添加监听
2.发送事件给所有注册过的监听器(观察者模式)，内部依赖子类的onPostEvent(listener, event)
来处理事件
SparkListenerBus负责调用listener处理事件
override def onPostEvent(listener: SparkListener, event: SparkListenerEvent): Unit = {
  event match {
case stageSubmitted: SparkListenerStageSubmitted =>
      listener.onStageSubmitted(stageSubmitted)
统一事件处理模式
SparkListener是一个trait并预先定义了一些列的事件处理方法，她的子类只需要根据自身的业务需求进行选择性
的覆盖,然后使用LiveListenerBus的onPostEvent的方法将对应的事件监听器和事件发送给
SparkListenerBus，然后根据模式匹配通过监听器自身定义的事件处理方法进行统一的事件处理