ShuffleMapTask执行结果和Driver的交互原理及源码

最新推荐文章于 2022-02-28 15:54:53 发布

段智华

最新推荐文章于 2022-02-28 15:54:53 发布

阅读量762

点赞数

分类专栏： SparkInBeiJing

热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行

本文链接：https://blog.csdn.net/duan_zhihua/article/details/73658086

版权

SparkInBeiJing 专栏收录该内容

81 篇文章 203 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文详细解析了Spark中ShuffleMapTask的执行流程及其与Driver的交互过程。从Driver通过CoarseGrainedSchedulerBackend启动Task，到Executor上的TaskRunner执行ShuffleMapTask，期间涉及Task的序列化、反序列化、RDD计算以及Shuffle数据的写入。ShuffleMapTask执行完成后，根据任务结果的大小不同，采用不同方式返回结果给Driver，并在Driver端由TaskSchedulerImpl和DAGScheduler进行后续处理，如MapStatus的注册和任务状态更新。

摘要由CSDN通过智能技术生成

ShuffleMapTask执行结果和Driver的交互原理及源码

Driver中的CoarseGrainedSchedulerBackend给CoarseGrainedExecutorBackend发送launchTasks消息，CoarseGrainedExecutorBackend收到launchTasks消息以后会调用executor.launchTask。通过launchTask来执行Task，launchTask方法中根据传入的参数：taskId、尝试次数、任务名称, 序列化后的任务创建一个TaskRunner，在threadPool 中执行TaskRunner。 TaskRunner内部会先做一些准备工作：例如反序列化Task的依赖，通过网络来获取需要的文件、Jar等；然后调用反序列化后的Task.run方法来执行任务并获得执行结果：

Executor.scala源码

1. override def run(): Unit = {

2. …….

3. val value = try {

4. val res = task.run(

5. taskAttemptId = taskId,

6. attemptNumber = attempt