深入理解 Spark（二）SparkApplication 提交和运行源码分析

我很ruo

已于 2024-01-13 20:11:55 修改

阅读量1.3k

点赞数 33

分类专栏：大数据文章标签：服务器 servlet 运维

于 2024-01-13 20:11:07 首次发布

本文链接：https://blog.csdn.net/weixin_44512041/article/details/135574719

版权

spark 核心流程

在这里插入图片描述

yarn-client

yarn-cluster

在这里插入图片描述

spark 任务调度

spark stage 级别调度

在这里插入图片描述

spark task 级别调度

失败重试和白名单

对于运行失败的 Task，TaskSetManager 会记录它失败的次数，如果失败次数还没有超过最大重试次数，那么就把它放回待调度的 Task 池子中等待重新执行，当重试次数过允许的最大次数，整个 Application失败。在记录 Task 失败次数过程中，TaskSetManager 还会记录它上一次失败所在的 ExecutorId 和 Host，这样下次再调度这个 Task 时，会使用黑名单机制，避免它被调度到上一次失败的节点上，起到一定的容错作用。