spark 流程详解（任务切分，调度，通讯架构）

最新推荐文章于 2024-05-09 16:51:24 发布
最新推荐文章于 2024-05-09 16:51:24 发布
阅读量968 收藏 6
点赞数 2
分类专栏： Spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45425054/article/details/114542750
版权

spark整个流程

在这里插入图片描述
第6步详解解析：
6.1的LauncherPool为线程池，它会启动一个线程类NMclient用来和NodeManager通信用，然后会启动NodeManager中的一个进程ExecutorBackend，然后启动两个通信模块（也就是RPC终端，用来通信）
通信注册完后，第9步建立Executor计算对象（线程），也就是跑RDD的承担者
注：7，8，9,10步在通讯架构中详解

任务切分

第十步：任务切分解析：如下图
在这里插入图片描述
所以当Exeuctor启动完成后，就开始跑代码，直到遇到第一个行动算子，这就代表第一个任务开始划分了。
划分信息如

最低0.47元/天 解锁文章
黑星bm
关注
  • 2
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
Spark任务的划分和调度（基于Spark 3.0.0）
benjam1n77的博客
08-31 1876
本文讲解Spark对任务进行划分和调度的原理
【Spark精讲】Spark任务运行流程
话数Science
12-12 2853
Spark精讲，Spark任务运行流程，Spark任务执行流程，client模式，cluster模式，yarn-client模式，yarn-cluster模式，master参数
2024年大数据最全Spark分区 partition 详解_spark partition(1)，2024年最新大厂面试必备
最新发布
2401_84185224的博客
05-09 321
体案例:对List里面的单词进行wordcount,并且输出按照每个单词的长度分区输出到不同文件里面//只需要继承Partitioner,重写两个方法//这里定义partitioner个数//这里定义分区规则//根据单词长度对分区个数取模len % num(x,1)})//这里指定自定义分区,然后输出sc.stop()既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
[Spark] 手撕Job、Stage、Task划分机制
藏知阁
08-29 3247
Spark中： 1、根据算子是否是行动（Action）算子，来划分Job； 2、根据算子运算是否需要洗牌（Shuffle），来划分Stage； 3、根据RDD的分区数，来划分Task。 下面以例子来进行说明。 首先启动一个Spark的Application： pyspark --queue gld Driver的核数和内存，Executor的实例数、核数和内存都是默认值，即–driver-cores=1, --driver-memory=1G, --num-executors=2, --executor-
Spark核心概念释义及基本运行流程
星空的风fly
03-27 3663
一个application包括driver program和executors，一个application应用可以有多个job组成，一个action算子对应一个job，一般而言，程序中有几个action算子就会产生几个job。一个job可以由多个stage组成，一个stage对应多个task，task由dirver发送到各个executor，task运行在executor中，exector以并行的方式执行task。每个Executor独占一个Container
SparkContext 终止 Task 运行过程及Executor Shutdown 造成 DeadLock 分析
半日闲的博客
06-11 2036
文章目录KillTask 消息从提交到执行的传递流程DAGScheduler 提交 cancel job请求SchedulerBackend 发送Kill消息到 ExecutorExecutor 的 killTask 处理过程TaskRunner 线程的生命周期TaskRunner kill Task过程Executor 在 Shutdown 过程中是如果造成 DeadLock 的CoarseGrainedExecutorBackend 注册Signal事件处理Singnal信号注册ActionHandle
Spark调度架构原理详解
08-28
Spark调度架构原理详解 Spark调度架构原理详解是Spark核心组件之一，对Spark的执行和调度至关重要。本文将从Spark调度架构原理的角度，深入探讨Spark的执行机制和调度原理。 Spark集群架构 Spark集群架构由三个...
一文详解Spark基本架构原理
02-24
文章主要通过八个方面全面介绍了spark的架构原理，更多内容请看全文。ApacheSpark是一个围绕速度、易用性和复杂分析构建的大数据处理框架，最初在2009年由加州大学伯克利分校的AMPLab开发，并于2010年成为Apache的...
Spark总体架构和运行流程
01-07
本节将首先介绍 Spark 的运行架构和基本术语，然后介绍 Spark 运行的基本流程，最后介绍 RDD 的核心理念和运行原理。 Spark 总体架构 Spark 运行架构如图 1 所示，包括集群资源管理器（Cluster Manager）、多个运行...
big-whale:Spark、Flink等离线任务的调度以及实时任务的监控
05-13
巨鲸任务调度平台为美柚大数据研发的分布式计算任务调度系统，提供Spark、Flink等批处理任务的DAG调度和流处理任务的运行管理和状态监控，并具有Yarn应用管理、重复应用检测、大内存应用检测等功能。 服务基于Spring...
Spark中的Task，partitioner，executor，cores等相关概念
lds_include
04-12 1177
Spark中的Task，partitioner，executor，cores等相关概念 说明 输入多个hdfs文件，每个文件有多个block，当spark读取多个文件时，将多个block合并为一个输入分片（InputSplit，它是不能跨文件的），每个输入分片对应一个task，一个task会被分配到某个节点的一个executor上执行，每个executor上有多个cores（一个executo...
Spark Core（十二）Spark Worker启动Driver和Executor原理
李玉志的博客
08-07 751
Spark Worker启动Driver和Executor原理图 2.
Launcher启动过程分析
wcsbhwy的博客
05-06 542
在systemReady()
spark中的task 分割
金字塔上的蜗牛的专栏
04-11 1319
spark的思想就是把一个巨大的任务通过网络分配给多个机器去执行，然后从多个机器返回计算结果并整合完成用户所需要的计算。 这里有一个tradeoff的问题，每个task的任务分配并不是越大越好，也不是越小越好，是根据计算量和节点的计算能力平衡的结果。 一个合理的task任务分配可以达到最快的计算速度。
Spark应用运行流程
小小本科生成长之路
04-10 4282
相关基本术语 ------------------------- Application：应用，即用户需要完成的应用程序。一般来说，这部分代码需要用户根据自己的需求来完成。这部分代码主要包括两部分：Driver和Executor。 Driver：顾名思义，驱动者，为Application准备运行环境，驱动并监控Application的运行。 Worker：当SparkContext申请到资
Spark中任务划分
qq_43193797的博客
04-12 819
RDD任务切分中间分为：Application、Job、Stage和Task 1）Application：初始化一个SparkContext即生成一个Application； 2）Job：一个Action算子就会生成一个Job； 3）Stage：根据RDD之间的依赖关系的不同将Job划分成不同的Stage，遇到一个宽依赖则划分一个Stage； 对于宽依赖，由于有Shuffle的存在，只能在...
spark中RDD任务切分
andy的博客
11-29 573
中间分为：Application、Job、Stage和Task （1）Application：初始化一个SparkContext即生成一个Application； （2）Job：一个Action算子就会生成一个Job； （3）Stage：Stage等于宽依赖的个数加1； （4）Task：一个Stage阶段中，最后一个RDD的分区个数就是Task的个数。 ...
Spark_Spark 中 Stage, Job 划分依据 , Job, Stage, Task 基础知识
迎难而上
05-26 2353
最近整理一下，之前没注意到的点。本文整理下 Job 与 Stage 的划分依据。 参考文章： 1.Spark的Job、Stage、Task是按何种规则产生的 https://blog.csdn.net/gaopu12345/article/details/79156675 2.Spark中job、stage、task的划分+源码执行过程分析 https://blog.csdn.net/hjw199089/article/details/77938688 Job 划分依据 ： ...
Spark的提交和运行流程
m0_61607827的博客
02-25 936
目录 一 、Spark的运行流程 1.1　Spark的基本运行流程 二、Spark在不同集群中的运行架构 2.1　Spark on Standalone运行过程 2.2　Spark on YARN运行过程 2.2.1　YARN框架流程 2.2.2　YARN-Client 2.2.3　YARN-Cluster 一、Spark的运行流程 1.1　Spark的基本运行流程 1、说明 (1)构建Spark Application的运行环境（启动SparkContext），SparkCo
Spark任务调度和资源调度流程
07-27
Spark任务调度和资源调度流程可以分为以下几个步骤： 1. 任务提交：用户通过Spark应用程序将任务提交给Spark集群的主节点。 2. 任务划分：主节点将接收到的任务进行划分，将大型任务划分为更小的任务单元，称为任务阶段。 3. 任务调度：根据集群的资源情况，将任务阶段分配给可用的执行器（Worker节点），以实现并行处理。 4. 资源调度：资源调度器负责管理和分配集群中的资源，例如CPU、内存和磁盘等。常用的资源调度器有YARN、Mesos和Standalone等。 5. 任务执行：执行器接收到任务阶段后，根据指令执行具体的计算操作。每个执行器可以同时执行多个任务阶段，以实现并行计算。 6. 数据共享：在任务执行过程中，Spark会将数据按照需要的方式进行共享。例如，通过广播变量将数据复制到每个节点，或者通过共享变量在节点之间共享数据。 7. 结果返回：当所有任务阶段执行完毕后，执行器将结果返回给主节点。 8. 结果合并：主节点收集并合并所有任务阶段的结果，并将最终结果返回给用户。 这些步骤组成了Spark任务调度和资源调度的整个流程。通过合理的调度和资源管理，Spark可以实现高效的并行计算。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值