文章地址:http://www.haha174.top/article/details/251642
在Master.scala源码下进行模式匹配,匹配到DriverStateChanged,如果driver的状态是错误,完成,被杀掉,失败,那么就移除driver。
在removeDriver方法中,用scala的find高阶函数去找到driverId对应的driver,如果找到了,Some样例类(Option),将driver从内存缓存中清除。
向completeDrivers中加入driver;使用持久化引擎去除driver的持久化信息;设置driver的state和exception;遍历driver所在的worker,移除driver;同样,在最后会调用schedule方法。
如果匹配到了ExecutorStateChanged,会找到executor对应的app,然后再反过来通过app内部的executor缓存获取executor信息;
如果executor信息有值,那么就设置executor的当前状态,向driver同步发送ExecutorUpdate消息;然后判断,如果executor的update完成了,那么就从app缓存中移除executor,从运行executor的worker的缓存移除executor;
判断,如果executor的退出是非正常的,判断application当前的重试次数是否达到了最大值(10次(ApplicationState 设置)),如果是,则重新进行调度,否则,那么就进行removeApplication操作,因为executor反复调度都是失败的,那么就认为application也失败了。