Spark分析之Master、Worker以及Application三者之间如何建立连接

最新推荐文章于 2023-01-06 13:16:58 发布

打怪的蚂蚁

最新推荐文章于 2023-01-06 13:16:58 发布

阅读量2.5k

点赞数

分类专栏： Spark

本文链接：https://blog.csdn.net/xgjianstart/article/details/64133347

版权

本文详细阐述了Spark中Master、Worker和Application之间的连接过程。首先，Worker通过RegisterWorker向Master注册并定时发送心跳。接着，SparkContext启动时，Application向Master注册。Master负责选举Leader，管理Worker和Application，按FIFO策略调度任务。Worker接收到Master的LaunchExecutor指令后，启动Executor进程。最后，通过spark-shell启动时，ClientActor注册Application到Master，Master调度并分配Executor到Worker。

摘要由CSDN通过智能技术生成

Master.preStart(){

　　webUi.bind()
　　context.system.scheduler.schedule(0 millis, WORKER_TIMEOUT millis, self, CheckForWorkerTimeOut) //定时任务检测是否有DEAD WORKER需要移除

　　case CheckForWorkerTimeOut => {
　　　　timeOutDeadWorkers()
　　}

　　/** Check for, and remove, any timed-out workers */　　
　　def timeOutDeadWorkers() {
　　　　...
　　　　if (worker.lastHeartbeat < currentTime - ((REAPER_ITERATIONS + 1) * WORKER_TIMEOUT)) {
　　　　　　workers -= worker 
　　　　}
　　}

}

Worker.preStart(){

　　override def preStart() {
　　　　webUi = new WorkerWebUI(this, workDir, Some(webUiPort))
　　　　webUi.bind()
　　　　registerWithMaster()  //注册该Worker到Master
　　}

　　def tryRegisterAllMasters() {