JobScheduler, Job, JobSet 详解

最新推荐文章于 2024-08-11 00:11:40 发布

wzsyf

最新推荐文章于 2024-08-11 00:11:40 发布

阅读量567

点赞数

分类专栏： Spark 文章标签： spark

本文链接：https://blog.csdn.net/wzsyf/article/details/105914691

版权

本文深入解析Spark Streaming的作业调度机制，重点介绍JobScheduler、JobGenerator和ReceiverTracker的角色，以及Job和JobSet的处理流程。通过分析Job的执行过程，揭示Spark Streaming中并发Jobs的控制及与Spark Core Job、Stage、TaskSet、Task的区别。

摘要由CSDN通过智能技术生成

引言
前面在 [Spark Streaming 实现思路与模块概述](0.1 Spark Streaming 实现思路与模块概述.md) 和 [DStream 生成 RDD 实例详解](1.2 DStream 生成 RDD 实例详解.md) 里我们分析了 DStream 和 DStreamGraph 具有能够实例化 RDD 和 RDD DAG 的能力，下面我们来看 Spark Streaming 是如何将其动态调度的。

在 Spark Streaming 程序的入口，我们都会定义一个 batchDuration，就是需要每隔多长时间就比照静态的 DStreamGraph 来动态生成一个 RDD DAG 实例。在 Spark Streaming 里，总体负责动态作业调度的具体类是 JobScheduler，在 Spark Streaming 程序在 ssc.start() 开始运行时，将 JobScheduler 的实例给 start() 运行起来。
在这里插入图片描述

Spark Streaming 的 Job 总调度者 JobScheduler
JobScheduler 是 Spark Streaming 的 Job 总调度者。
JobScheduler 有两个非常重要的成员：JobGenerator 和 ReceiverTracker。JobScheduler 将每个 batch 的 RDD DAG 具体生成工作委托给 JobGenerator，而将源头输入数据的记录工作委托给 ReceiverTracker。