Spark运行流程（ RDD 的job调度流程: Driver内部运行流程）

最新推荐文章于 2024-03-16 16:54:56 发布
最新推荐文章于 2024-03-16 16:54:56 发布
阅读量189 收藏
点赞数
分类专栏： 大数据 文章标签： spark 大数据 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sijiwang95/article/details/129093541
版权
Spark在遇到action算子时会触发Job任务，DAGScheduler构建执行流程图并划分阶段，TaskScheduler负责TaskSet的均衡分配给executor执行，Driver进行任务监控。
摘要由CSDN通过智能技术生成
        Spark程序 , 遇到一个 action 算子 , 就会产生一个 Job 的任务 , 首先就会先 SparkContext 对象 , 同时在其底层也会创建DAGScheduler 和 TaskScheduler
        首先DAGScheduler 负责生成 DAG 的执行流程图 , 划分有多少个阶段 , 并且确定每个阶段内部有多少个线程 , 然后将每个阶段的线程放置到一个TaskSet 中 , 然后提交到 TaskScheduler
        接着TaskScheduler 接收到 TaskSet 后 , 然后依次遍历每一个阶段的 TaskSet, 将其尽可能均衡分配给对应的
executor 来运行 , 从而完成所有的阶段的执行操作
        最后Driver 负责任务的监控管理即可 ....

 

javaisGod_s
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark运行架构和解析
02-24
为了更好地理解Spark如何高效地进行数据处理，我们需要深入了解其内部的工作原理和运行架构。 #### 二、关键概念解析 **1. Job** - **定义**: 由一系列动作(Action)触发的计算过程，通常包含多个任务(Task)，这些...
Spark的任务调度流程(Driver 内部运行流程)
s1275200879的博客
04-04 398
Spark的核心是基于RDD来实现的，Spark任务调度就是如何组织任务去处理RDD中每个分区的数据，根据RDD的依赖关系构建DAG，基于DAG划分Stage，然后将每个Stage中的任务（Task）分发到指定的节点去运行得到最终的结果。然后把每个阶段的线程放置到一个TaskSet中, 提交给TaskScheduler , TaskScheduler遍历每一个TaskSet , 将其尽可能均衡地分配给 Executor 来运行, 最后Driver 进行监控管理即可.一个TaskSet对应的调度阶段。
一、Spark内核之运行机制
olifchou的博客
02-21 679
深究Spark 文章目录深究Spark前言一、Spark核心组件1.Driver2. Executor2.读入数据总结 前言 Spark内核一般指Spark的核心运行机制，包括核心组件的运行机制、任务调度机制、内存管理机制、核心功能运行原理。 一、Spark核心组件 1.Driver Driver是Spark的驱动器节点，用于执行Spark任务中的main方法，负责实际代码的执行工作。Driver在Spark作业执行时主要负责： 将用户程序转化为作业(Job) 在Executor之间调度任务(Ta
(spark源码)job生成和提交
IAmListening的博客
06-01 806
摘要 spark中, Job的提交可以分为四个阶段 RDD生成相互间的依赖关系. 实际上依赖关系是RDD的固有属性, 也就是说, 每个RDD生成时, 依赖就已经被生成了 DVG过程, 将Action算子对应的RDD作为finalStage, 由后往前递归的遍历所有RDD, 并根据宽窄依赖划分Stage 根据partition数量, 生成对应数量的Task Worker调用executor执行运算...
Spark学习（8）-SparkSQL的运行流程，Spark On Hive
一个人的江湖
01-07 2666
将Filter这种可以减少数据集的操作下推，放在Scan的位置，这样可以减少操作时候的数据量。RDD的运行会完全按照开发者的代码执行， 如果开发者水平有限，RDD的执行效率也会受到影响。当使用ThriftServer后，相当于是一个持续性的Spark On Hive集成模式，它提供10000端口，持续对外提供服务，外部可以通过这个端口连接上来，写sql，让Spark运行。上面的过程生成的AST其实最终没有办法直接运行，AST叫做逻辑计划，结束后需要生成物理计划，从而生成RDD来运行。
Spark之RDD的Action算子和最受学生喜爱/欢迎的科目案例(5)
桂林算啦粉的博客
10-01 350
一 RDD 的 Action 算子 Action :行动算子 ,调用行动算子会触发job执行 ,本质上是调用了sc.runJob方法 ,该方法从最后一个RDD,根据其依赖关系 ,从后往前 ,划分 Stage ,生成 TaskSet . 二 对RDD的操作(创建,查看) 1 创建 RDD的方法 1.1 通过并行化方法 ,将 Driver端的集合转成 RDD val rdd1:RDD[Int] = sc.parallelize(Array(1,2,3,4,5,6,7),2...
【Spark内核篇03】Spark任务调度机制1
08-04
Spark的调度流程如下： 1. 用户编写Spark程序，包含Action操作。 2. SparkContext接收到Action操作，创建Job并提交给DAGScheduler。 3. DAGScheduler根据RDD的依赖关系切割Job为多个Stage。 4. 每个Stage被封装成...
Apache Spark源码走读之3 -- Task运行期之函数调用关系分析
01-06
Apache Spark作为一款高效的大数据处理框架，在其内部有着复杂的任务调度与执行机制。本文将深入探讨Spark中Task执行期间的具体流程以及相关函数调用的关系。 #### 准备工作 在开始之前，请确保满足以下条件： 1. ...
加米谷大数据——Spark核心技术原理透视Spark运行原理.docx
10-15
Spark的核心技术原理包括了对数据的处理方式、运行流程和架构设计等多个方面。以下是对这些知识点的详细解释： 1. **Spark 应用程序 (Application)**：Spark应用程序是由用户编写的，包含了Driver和Executor两部分...
Spark调优多线程并行处理任务实现方式
08-18
Spark Core中一个RDD DAG Graph可以生成一个或多个Job（Action操作），一个Job可以认为是一个会最终输出一个结果RDD的一条由RDD组织而成的计算Job，在Spark应用中是一个被调度的单位。 Streaming中一个batch的数据...
Spark SQL的运行机制
xy_hgtc的博客
12-02 510
DAG调度器（DAGScheduler）接收到Job任务以后，对Job形成DAG有向无环图和划分Stage阶段，会确定每个Stage阶段需要多少个Task（线程），并且将这些Task放在了一个叫TaskSet集合里。Spark SQL底层依然运行的是Spark RDD的程序，所以说Spark RDD程序的运行的流程，在Spark SQL中依然是存在的，只不过在这个流程的基础上增加了从SQL翻译为RDD的过程。3-对（未优化前的）逻辑计划进行各种优化操作，Spark SQL提供了一两百种优化规则。
Spark-Job调度流程
weixin_37536020的博客
06-18 240
TaskScheduler接收到各个阶段的TaskSet后, 开始进行任务的分配工作, 确认每个线程应该运行在那个executor上(尽可能保持均衡), 然后将任务提交给对应executor上,让executor启动线程执行任务即可,阶段是一个一个的运行, 无法并行执行的。向当前等待分配计算资源的Task分配Executor，并且在分配的Executor上启动Task，完成计算的资源调度。并行度设置, 需要在shuffle后生效, shuffle前的分区数量, 默认取决于初始数据源的时候确认的分区数量。
如何理解Spark中Driver和Executor？
最新发布
2301_79551573的博客
03-16 596
第二个Driver还负责管理广播变量和累加器，广播变量负责将一个只读对象传递到所有的executor端提供数据计算的需求，而累加器则是用来收集executor端数据的累计行为。任何分布式服务都会有两种角色，一个是Master另一个是Slaver，前者是领导专门负责指挥和调度，后者是员工专门负责干活的；Driver相当于Master，Executor相当于Slaver，前者负责任务的分配和管理，后者负责对数据进行计算。第二个对计算后的最终的RDD或者DataSet进行持久化存储。
记一次Spark任务Driver端问题排查
weixin_42486226的博客
04-26 251
Spark任务提交Client模式报错找不到依赖，换成Cluster模式就乖乖听话了，这问题其实很简单。
Spark内核之Driver的工作流程(Stage划分、Task划分、Task调度)
TRX的博客
09-05 3042
fff
谈Spark下并行执行多个Job的问题
热门推荐
茅庐
03-20 2万+
本文结合笔者的实践场景，探讨了Spark下并行执行多个Job的问题。梳理了Spark任务调度的机制，并总结了实践中需要考虑的问题。
Spark学习之driver
很吵请安静
01-14 9632
driver在spark中并不是一个非常重要的概念，但是在学习过程中对于他的理解感觉比其他组件都要费劲，花了几天的功夫终于把Driver弄明白了，希望这篇博客能对刚学习spark的人有点帮助 因为driver这个概念的理解与spark的运行模式有关，所以在讲解spark之前会先讲一下spark的四种分布式运行模式 spark的四种分布式运行模式 如图所示，上方为spark的架构图，s
spark基础知识选择、判断、简答题。
weixin_43793040的博客
06-08 1万+
** # spark相关题目 ** 1、 持久化RDD的存储级别中，将RDD分区全部存储到磁盘上的存储级别是（）。 A、MEMORY_ONLY B、MEMORY_AND_DISK C、DISK_ONLY D、MEMORY_ONLY_SER 参考答案: C 答案解析: 暂无解析 2、 当MemStore存储的数据达到一个阀值（）时，数据就会被进行flush操作，将数据写入到StoreFile文件。 A、64M B、128M C、256M D、512M 参考答案: B 答案解析: 暂无解析 3、 下列选项中
Spark的driver理解和executor理解
liweihope的博客
06-09 9661
1.看了很多网上的图，大多是dirver和executor之间的图，都不涉及物理机器 如下图，本人觉得这些始终有些抽象 看到这样的图，我很想知道driver program在哪里啊，鬼知道？为此我自己研究了一下，网友大多都说是对的有不同想法的请评论 2.现在我有三台电脑 分别是 192.168.10.82 –>bigdata01.hzjs.co 192.168.10.83 –>bi...
Spark任务调度机制解析：Stage与Task的调度流程
在YARN-Cluster模式下，Spark应用程序的执行流程始于SparkContext的创建，由Driver线程负责任务调度，与ApplicationMaster交互以申请和管理Executor资源。Executor进程启动后向Driver注册并保持心跳，等待接收并执行...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值