Spark笔记

第三十课Master的注册机制和状态管理
一、Master对其它组件注册的处理
1、Master接受注册的对象主要就是：Driver、Application、Worker；不要补充说明是Executor不会注册给Master，Executor是注册给Driver中的SchedulerBackend的；
2、Worker是在启动后主动向Master注册的，所以如果在生产环境下加入新的Worker到已经正在运行的Spark集群上，此时不需要重新启动Spark集群就能够使用新加入的Worker以
提升处理能力；
3、Master在接收到Worker注册的请求后，首先会判断一下当前的Master是否是Standlone的模式，如果是的话就不处理；然后会判断当前Master的内存数据结构idToWorker中是否
已经有该Worker的注册新，如果有的话此时不会重复注册；