Spark的Master分析2（Master注册机制原理分析）

1.Worker的注册过程
Spark的Worker在启动之后，就会主动向Master进行注册。Master会对Worker进行过滤，将状态为DEAD的Worker过滤掉；对于状态为UNKNOWN的Worker，清理掉旧的Worker信息，替换为新的Worker信息。然后Master会把完成过滤条件的Worker加入内存缓存（HashMap）中，用持久化引擎将Worker信息进行持久化（文件系统或者Zooleeper），最后会调用scheduler方法。

2.Driver的注册过程
用Spark-submit提交spark Application的时候，首先会注册Driver，将Driver信息放入内存缓存（HashMap）中；然后加入等待调度队列（ArrayBuffer）；接着会用持久化引擎将Driver信息持久化；最后调用scheduler方法进行调度
。
3.Application的注册过程
Driver启动好之后，执行编写的Application代码，执行SparkContext初始化，底层的SparkDeploySchedulerBackend，会通过AppClient内部的线程ClientActor，发送RegisterApplication到Master进行Application的注册。Master会将Application的注册信息放入内存缓冲（HashMap），然后将Application加入等待调度的Application队列（ArrayBuffer），然后利用持久化引擎将Application持久化，调用scheduler方法进行调度。