Spark源码阅读02-Spark核心原理之容错及HA（高可用），程序员Javaweb源码

（1）Master接收Worker的心疼来监测其实时状态，同时，Master中的onStart方法中也有检测Worker超时的线程。实现代码如下：

case Heartbeat(workerId, worker) =>

idToWorker.get(workerId) match {

case Some(workerInfo) =>

workerInfo.lastHeartbeat = System.currentTimeMillis()

case None =>

if (workers.map(_.id).contains(workerId)) {

logWarning(s"Got heartbeat from unregistered worker $workerId." +

" Asking it to re-register.")

worker.send(ReconnectWorker(masterUrl))

} else {

logWarning(s"Got heartbeat from unregistered worker $workerId." +

" This worker was never registered, so ignoring the heartbeat.")

}

}

override def onStart(): Unit = {

…

checkForWorkerTimeOutTask = forwardMessageThread.scheduleAtFixedRate(new Runnable {

override def run(): Unit = Utils.tryLogNonFatalError {

self.send(CheckForWorkerTimeOut)

}

}, 0, WORKER_TIMEOUT_MS, TimeUnit.MILLISECONDS)

…

}

（2）当Worker出现超时时，Master调用timeOutDeadWorkers方法进行处理。代码实现如下：

/** Check for, and remove, any timed-out workers */

private def timeOutDeadWorkers() {

// Copy the workers into an array so we don’t modify the hashset while iterating through it

val currentTime = System.currentTimeMillis()

val toRemove = workers.filter(_.lastHeartbeat < currentTime - WORKER_TIMEOUT_MS).toArray

for (worker <- toRemove) {

if (worker.state != WorkerState.DEAD) {

logWarning(“Removing %s because we got no heartbeat in %d seconds”.format(

worker.id, WORKER_TIMEOUT_MS / 1000))

removeWorker(worker, s"Not receiving heartbeat for ${WORKER_TIMEOUT_MS / 1000} seconds")

} else {

if (worker.lastHeartbeat < currentTime - ((REAPER_ITERATIONS + 1) * WORKER_TIMEOUT_MS)) {

workers -= worker // we’ve seen this DEAD worker in the UI, etc. for long enough; cull it

}

}

}

}

Master异常

---

Master作为Spark独立运行模式中的核心，如果Master出现异常，则整个集群的运行和资源调度将无法进行处理，这会造成非常严重的问题。因此，Spark通过在集群运行的时候，启动一个Master，然后同时启动一个或者多个Standby Master来解决这个问题（高可用）。当Master出现问题的时候，Standby Master将会根据一定的规则确定其中一个来接管Master。Master异常容错过程图如下：

下面介绍几种模式（可以在spark-env.sh的配置项spark。deploy.recoveryMode进行设置，默认NONE）:

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加V获取：vip1024b （备注Java）

写在最后

学习技术是一条慢长而艰苦的道路，不能靠一时激情，也不是熬几天几夜就能学好的，必须养成平时努力学习的习惯。所以：贵在坚持！

最后再分享的一些BATJ等大厂20、21年的面试题，把这些技术点整理成了视频和PDF（实际上比预期多花了不少精力），包含知识脉络 + 诸多细节，由于篇幅有限，上面只是以图片的形式给大家展示一部分。

Mybatis面试专题

MySQL面试专题

并发编程面试专题

链图片转存中…(img-6BYZbQtD-1711954803649)]

Mybatis面试专题

[外链图片转存中…(img-a5GFYJNJ-1711954803650)]

MySQL面试专题

[外链图片转存中…(img-FX6yd0PH-1711954803650)]

并发编程面试专题