Spark的Master分析3(Master状态改变机制分析)

在Master.scala源码下进行模式匹配,匹配到DriverStateChanged,如果driver的状态是错误,完成,被杀掉,失败,那么就移除driver。在removeDriver方法中,用scala的find高阶函数去找到driverId对应的driver,如果找到了,Some样例类(Option),将driver从内存缓存中清除。向completeDrivers中加入driver;使用持久化引擎去除driver的持久化信息;设置driver的state和exception;遍历driver所在的worker,移除driver;同样,在最后会调用schedule方法。

如果匹配到了ExecutorStateChanged,会找到executor对应的app,然后再反过来通过app内部的executor缓存获取executor信息;如果executor信息有值,那么就设置executor的当前状态,向driver同步发送ExecutorUpdate消息;然后判断,如果executor的update完成了,那么就从app缓存中移除executor,从运行executor的worker的缓存移除executor;判断,如果executor的退出是非正常的,判断application当前的重试次数是否达到了最大值(10次),如果是,则重新进行调度,否则,那么就进行removeApplication操作,因为executor反复调度都是失败的,那么就认为application也失败了。

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值