Spark RDD的Action执行过程——Executor对task的执行原理分析

最新推荐文章于 2022-07-20 11:18:31 发布
最新推荐文章于 2022-07-20 11:18:31 发布
阅读量266 收藏
点赞数 1
分类专栏： Spark 文章标签： Spark Spark源码
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41321219/article/details/96375457
版权

当master在接收到RegisterApplication消息后会向worker发送LaunchDriver和LaunchExecutor消息来分别启动Driver和Executor。实际上这里启动Executor是指的启动CoarseGrainedExecutorBackend进程，而Executor只是CoarseGrainedExecutorBackend的内部的对象。

下面是backend的onStart方法,会触发对task的操作
在这里插入图片描述
CoarseGrainedExecutorBackend中的DriverEndpoint类接收到RegisterExecutor消息后会对executor进行注册,注册到CoarseGrainedExecutorBackend中,并发送RegisteredExecutor消息给backend,使backend创建对应的executo对象,通过executor的方法来进行后面的对task的launch操作
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
跳过前面对taskSet和task的一系列操作(之前文章讲过),直接剖析launchTasks方法
在这里插入图片描述
executor接收到消息就会调用launchTask方法
在这里插入图片描述
在这里插入图片描述

Tom_coding
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark深入解析（十八）：SparkCore之扩展之RDD相关概念关系
wzc8961661的博客
05-07 2269
目录RDD相关概念关系 RDD相关概念关系   输入可能以多个文件的形式存储在HDFS上，每个File都包含了很多块，称为Block。当Spark读取这些文件作为输入时，会根据具体数据格式对应的InputFormat进行解析，一般是将若干个Block合并成一个输入分片，称为InputSplit，注意InputSplit不能跨越文件。随后将为这些输入分片生成具体的Task。InputSplit与...
Spark Executor原理
02-07 3534
Master发指令给Worker启动Executor。 Worker接收到Master发送来的指令通过ExecutorRunner启动另外一个进程来启动Executor。 CoarseGrainedExecutorBackend通过发送RegisterExecutor向Driver注册，Driver在Executor注册成功后会返回RegisterExecutor信息给CoarseGr
spark 源码分析（spark 触发Action 之后操作）
weixin_40809627的博客
12-12 415
本例以wc 为例子 （akka 为rpc 通讯框架） 1、我们进入savaAsTextFile 这个 action算子 2、上面算子通过多层封装（其中包换数据 转换和创建一些读写流） 最后通过 runjob 方法的入口开始提交任务（其中包含DAG 任务的划分流程等将DAG 切分成多个stage 然后将stage 切分成不同task 任务最后提交任务） 经过一系列的变换操作（通常增加一些提...
Spark任务中Task数量确定和一些总结
小末的博客
07-20 4641
Spark任务中Task数量如何确定？
Spark处理RDD，分区数和executor的关系
攻城狮Kevin
10-31 3997
在代码中将RDD进行了hash重分区成56个partition，RDD中包含从HDFS上读取的4亿条记录，每一行记录存为RDD中的一个元素。 所以最终RDD有4亿个元素，56个分区，对应spark程序中56个task， 查看任务时显示如下： 再结合spark的原理图： 共申请了201个executor（Driver端占1个，申请200个executor）， 总tasks数为56，...
RDD的执行流程（简略）
机械工程跑路哥
06-23 1534
从计算的角度来讲，数据处理过程中需要计算资源（内存 & CPU）和计算模型（逻辑）。执行时，需要将计算资源和计算模型进行协调和整合。流程概括： ①准备资源 ②创建Driver和Executor节点 ②然后将应用程序的数据处理逻辑分解成一个一个的计算任务task。 ③然后将任务task发到已经分配资源的计算节点executor上, 按照指定的计算模型进行数据计算。最后得到计 Driver和Executor都是运行在NodeManager上面的 ！ ResourceManager是用于管理的，所以真正运行任务
Spark调度架构原理详解
08-28
5. Executor执行Task：Executor从线程池中取出Task去计算RDD partition中的数据，Transformation操作和Action操作。 6. Worker节点向Driver节点汇报计算状态：Worker节点向Driver节点汇报计算状态，Driver节点对计算...
Spark学习笔记之Spark中的RDD的具体使用
08-25
本文通过详细的示例代码介绍了Spark学习笔记之Spark中的RDD的具体使用，涵盖了RDD的概念、特点、在Spark中的作用、 Spark中的名词解释、创建RDD的两种方式、IDEA开发Spark等多个方面，对大家的学习或者工作具有一定...
spark运行原理讲解
03-01
本文将深入探讨Spark的核心概念、架构设计以及执行过程，旨在帮助那些已经对Spark有一定基础理解的学习者更深入地掌握其工作原理。 ### 一、Spark概述 Spark的核心理念是基于内存计算，通过在内存中存储数据，减少...
深入理解Spark 核心思想与源码分析
04-02
2. **运算模型：转换与行动**：Spark支持两种操作类型——转换（Transformation）和行动（Action）。转换创建新的RDD，但不立即执行；行动触发计算，并可能返回结果或写入外部存储。 3. **内存计算**：Spark的一大...
加米谷大数据——Spark核心技术原理透视Spark运行原理.docx
10-15
Spark的核心技术原理包括了对数据的处理方式、运行流程和架构设计等多个方面。以下是对这些知识点的详细解释： 1. **Spark 应用程序 (Application)**：Spark应用程序是由用户编写的，包含了Driver和Executor两部分...
白话Spark——Executor模块与RDD详解
Handoking的博客【学无止境】
07-18 1600
1.RDD是什么 这个定义我看了几本书一堆博客后觉得这样写会更好理解也更贴切：RDD(弹性分布式数据集)提供了一种高度受限的共享内存模型，即RDD是只读的记录分区的集合，不能直接修改。每个RDD可以分成多个分区，每个分区就是一个数据集片段。简单说，RDD就是一种数据抽象。 2.怎么创建RDD 可以用内存中已经有的数据集，也可以用外部数据源。之后通过RDD的转换，从父RDD中衍生出新的RDD，...
Spark中Task，Partition，RDD、节点数、Executor数、core数目的关系和Application，Driver，Job，Task，Stage理解
热门推荐
u013013024的博客
06-06 2万+
有部分图和语句摘抄别的博客，有些理解是自己的 梳理一下Spark中关于并发度涉及的几个概念File，Block，Split，Task，Partition，RDD以及节点数、Executor数、core数目的关系。 输入可能以多个文件的形式存储在HDFS上，每个File都包含了很多块，称为Block。 当Spark读取这些文件作为输入时，会根据具体数据格式对应的InputFormat...
大数据：Spark Core（四）用LogQuery的例子来说明Executor是如何运算RDD的算子
沧海一粟
04-22 3398
1. 究竟是怎么运行的？很多的博客里大量的讲了什么是RDD, Dependency, Shuffle... 但是究竟那些Executor是怎么运行你提交的代码段的？下面是一个日志分析的例子，来自Spark的example def main(args: Array[String]) { val sparkConf = new SparkConf().setAppName("Log Quer
Spark Executor 执行 rdd task
zhixingheyi_tian的博客
10-25 641
##本文探究executor 执行rdd 时的回溯实现 处理 submitJob提交的job private[scheduler] def handleJobSubmitted(jobId: Int, finalRDD: RDD[_], func: (TaskContext, Iterator[_]) => _, partitions: Array[I...
Spark之深入理解RDD结构
TcD的博客
01-06 2万+
RDD RDD(Resilient Distributed Datasets,弹性分布式数据集)，是Spark最为核心的概念，自然也是理解Apache Spark 工作原理的最佳入口之一。 RDD的特点： 1. 是一个分区的只读记录的集合； 2. 一个具有容错机制的特殊集； 3. 只能通过在稳定的存储器或其他RDD上的确定性操作（转换）来创建； 4. 可以分布在集群的节点上，以函数式操
Spark RDD的Action执行过程——Task剖析
qq_41321219的博客
07-22 241
Pool会依次执行TaskRunner 下面就分析TaskRunner中的run方法 这里调用了task的run方法 这里调用了runTask方法,这个方法是一个抽象方法,有两种实现,一个是ShuffleMapTask的实现,另一个是ResultTask的实现 首先看一下比较复杂的ShuffleMapTask 这里的注意点在于writer.write方法中的rdd.iterator()...
Spark的driver理解和executor理解
liweihope的博客
06-09 9645
1.看了很多网上的图，大多是dirver和executor之间的图，都不涉及物理机器 如下图，本人觉得这些始终有些抽象 看到这样的图，我很想知道driver program在哪里啊，鬼知道？为此我自己研究了一下，网友大多都说是对的有不同想法的请评论 2.现在我有三台电脑 分别是 192.168.10.82 –>bigdata01.hzjs.co 192.168.10.83 –>bi...
spark代码在driver还是executor上执行理解
yrsg666的博客
06-21 5437
整体来说，driver执行的就是除了RDD算子中的代码块以外的所有代码块，并且只执行一次。但是这个也不是绝对的，因为在RDD算子中不对RDD做操作的部分（比如println("aa")）也会在driver中进行执行只不过这部分代码在driver上是计算一次就执行一次。如下两图： 并且spark的每个batch在执行的时候也是先执行driver中的代码，然后遇到action操作再去划分DA...
spark+rdd执行过程
最新发布
12-30
Spark的RDD执行过程包括以下几个步骤： 1. 创建Spark程序的执行上下文，即创建SparkContext对象。 2. 通过SparkContext从外部数据源中读取数据，创建RDD对象。 3. 对RDD进行转换操作，构建RDD之间的依赖关系，形成DAG图。这个过程只是记录转换的轨迹，并没有真正的计算发生。 4. 执行行动类型的操作，触发真正的计算，并将结果持久化到内存中。 5. RDD分区，将数据划分为多个分区，每个分区可以在不同的节点上进行并行计算。 通过这个执行过程，Spark可以实现高效的大数据计算任务，并且各个组件可以无缝集成在同一个应用程序中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值