本文探讨了Spark集群在遇到master异常退出、worker异常、executor异常退出和application异常退出等故障时的容错机制。在master异常退出时，Spark通过不同部署模式如ZOOKEEPER实现高可用切换。worker异常包括关闭和网络故障，导致executor资源未正确更新。executor异常退出，Spark会重新调度executor。application异常退出，master会移除相关信息并重新分配资源。
容错指的是一个系统在部分模块出现故障时还能否持续的对外提供服务，一个高可用的系统应该具有很高的容错性；对于一个大的集群系统来说，机器故障、网络异常等都是很常见的，spark这样的大型分布式计算集群提供了很多的容错机制来提高整个系统的可用性，在接下来的部分中我们会讨论spark如应对各种模块异常，参考的版本是spark1.5.1
spark模块信息
master异常退出
spark中通过参数spark.deploy.recoveryMode来设置master的部署模型，主要有如下几种类型;
- NONE：只有一个master
- ZOOKEEPER：借助zookeeper实现具有自动切换的master
最低0.47元/天 解锁文章
扫一扫
583
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
