Spark执行流程（详细）

VIP文章 已于 2023-07-10 10:11:59 修改
阅读量4.9k 收藏 36
点赞数 1
文章标签： 大数据 spark
于 2020-08-04 16:44:08 首次发布
本文链接：https://blog.csdn.net/shenyuye/article/details/107789973
版权
大体执行流程
1.driver执行main方法（懒执行），action算子触发触发job
2.根据宽窄依赖划分stage
3.每个stage会被整理成taskset(包含多个task)4.每个task分发到具体的Executor去执行
完整调度流程

1.当Driver启动的时候，初始化时会相应的创建DagScheduler、TaskScheduler

2.TaskScheduler初始化的时候，会创建SchedulerBacked(主要负责集群之间的通讯)

3.SchedulerBacked和ApplicationMaster进行通讯，SchedulerBacked会告诉ApplicationManager会启动多少个Executor

4.然后ApplicationManager会向ResourceManager申请资源

5.然后启动相应的Executor

6.Executor调用ExecutorBackend向Driver里面的ScheduleBackend注册，当所有的Executor都注册完之后

最低0.47元/天 解锁文章
fanbuer
关注
  • 1
    点赞
  • 踩
  • 36
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
SparkTask的执行流程1
08-08
SparkTask的执行流程1
spark工作流程及原理（一）
我见青山多妩媚，料青山见我应如是
06-27 1万+
Spark架构的组成图如下： Cluster Manager：在standalone模式中即为Master主节点，控制整个集群，监控worker。在YARN模式中为资源管理器 Worker节点：从节点，负责控制计算节点，启动Executor或者Driver。 Driver： 运行Application 的main()函数        Executor：执行器，是为某个Applicat...
spark-2.2.2安装流程
05-06
ClusterManager：在Standalone模式中即为Master（主节点），控制整个集群，监控Worker。在YARN模式中为资源管理器。 Worker：从节点，负责控制计算节点，启动Executor。在YARN模式中为NodeManager，负责计算节点的控制。 Driver：运行Application的main()函数并创建SparkContext。 Executor：执行器，在worker node上执行任务的组件、用于启动线程池运行任务。每个Application拥有独立的一组Executors。 SparkContext：整个应用的上下文，控制应用的生命周期。 RDD：Spark的基本计算单元，一组RDD可形成执行的有向无环图RDD Graph。 DAG Scheduler：实现将Spark作业分解成一到多个Stage，每个Stage根据RDD的Partition个数决定Task的个数，然后生成相应的Task set放到TaskScheduler中。 TaskScheduler：将任务（Task）分发给Executor执行。 Stage：一个Spark作业一般包含一到多个Stage。 Task：一个Stage包含一到多个Task，通过多个Task实现并行运行的功能。 Transformations：转换(Transformations) (如：map, filter, groupBy, join等)，Transformations操作是Lazy的，也就是说从一个RDD转换生成另一个RDD的操作不是马上执行，Spark在遇到Transformations操作时只会记录需要这样的操作，并不会去执行，需要等到有Actions操作的时候才会真正启动计算过程进行计算。 Actions：操作(Actions) (如：count, collect, save等)，Actions操作会返回结果或把RDD数据写到存储系统中。Actions是触发Spark启动计算的动因。 SparkEnv：线程级别的上下文，存储运行时的重要组件的引用。 SparkEnv内创建并包含如下一些重要组件的引用。 MapOutPutTracker：负责Shuffle元信息的存储。 BroadcastManager：负责广播变量的控制与元信息的存储。 BlockManager：负责存储管理、创建和查找块。 MetricsSystem：监控运行时性能指标信息。 SparkConf：负责存储配置信息。
SparkSMOTE:Spark中实现的综合少数族裔过采样技术（SMOTE）
05-08
SparkSMOTE 在Spark中实施的综合少数族裔过采样技术（SMOTE） 。 这是处理高度不平衡的数据集的非常有用的方法。 使用细节 入门 编译并运行示例数据（在数据目录中）。 必须指定输入和输出路径（请参阅算法参数）。 sbt compile sbt package ./run 输出文件将包含原始数据集以及SMOTE生成的人工实例。 资料格式 必须从数据中删除任何标题。 第一列对应于数据点的标签（Y）。 剩下的笨拙是功能。 标签必须为0和1。 标签0（Y = 0）对应于多数类示例，标签1（Y = 1）对应于少数类示例。 算法参数 必须在“运行”文件中指定的参数： inputDirectory ：训练数据文件的路径。 inputDirectory ： SMOTE输出的路径。 numFeatures ：数据集中的要素数量。 可以在“运行”文件中指定的参数： K ：
SparkShuffle过程分析：Reduce阶段处理流程
02-25
Spark在Map阶段调度运行的ShuffleMapTask，最后会生成.data和.index文件，可以通过我的这篇文章SparkShuffle过程分析：Map阶段处理流程了解具体流程和详情。同时，在Executor上运行一个ShuffleMapTask，返回了一个MapStatus对象，下面是ShuffleMapTask执行后返回结果的相关代码片段：如果ShuffleMapTask执行过程没有发生异常，则最后执行的调用为：这里返回了一个MapStatus类型的对象，MapStatus的定义如下所示：其中包含了运行ShuffleMapTask所在的BlockManager的地址，以及后续Re
Spark 作业执行流程
晓晓的天空
03-14 3992
Spark 作业执行流程
Spark执行流程详解
qq_42456324的博客
04-29 4409
1、在命令行执行提交命令时，在spark-submit脚本中，调用了SparkSubmit类中的mainMethod.invoke方法，这个类通过反射，调用我们自定义的类。 2、我们自定义类中的main方法开始执行，初始化了SparkConf和SparkContext，在SparkContext对象被初始化的时候，构造出来DAGScheduler和TaskScheduler。 3、Driver端会对我们的代码进行解析，根据算子记录rdd之间的依赖关系，生成DAG有向无环图。 当程序触发action..
第一部分：Spark基础篇
index_test的博客
09-05 6375
Spark基础篇包含：job运行流程、任务提交阶段、运行原理、与MR的区别、RDD、DAG、算子类等知识点
【Spark精讲】Spark任务运行流程
话数Science
12-12 1890
Spark精讲，Spark任务运行流程，Spark任务执行流程，client模式，cluster模式，yarn-client模式，yarn-cluster模式，master参数
spark运行流程
qq_45450889的博客
06-29 814
执行计算：Spark执行计算时采用惰性求值的方式，即不会立即执行转换操作，而是记录下转换操作的逻辑。转换数据：通过转换操作对加载的数据进行处理和转换。Spark提供了丰富的转换操作，如映射、过滤、排序、聚合等，可以将数据进行清洗、筛选和加工。行动操作：行动操作是Spark计算流程中的最后一步，其作用是触发Spark的计算，并将结果返回给驱动程序或输出到外部存储介质。缓存数据：可选步骤，如果需要多次使用某个数据集，可以将其缓存到内存中，以便反复访问，加快后续计算速度。
Spark总体架构和运行流程
01-07
本节将首先介绍 Spark 的运行架构和基本术语，然后介绍 Spark 运行的基本流程，最后介绍 RDD 的核心理念和运行原理。 Spark 总体架构 Spark 运行架构如图 1 所示，包括集群资源管理器（Cluster Manager）、多个运行作业任务的工作结点（Worker Node）、每个应用的任务控制结点（Driver）和每个工作结点上负责具体任务的执行进程（Executor）。 图 1  Spark运行架构 Driver 是运行 Spark Applicaion 的 main() 函数，它会创建 SparkContext。SparkContext 负责和 Cluster M
Spark任务执行流程与运行架构
qq_25073261的博客
08-13 738
1.Spark的执行流程 1、说明 (1)构建Spark Application的运行环境（启动SparkContext），SparkContext向资源管理器（可以是Standalone、Mesos或YARN）注册并申请运行Executor资源； (2)资源管理器分配Executor资源并启动StandaloneExecutorBackend，Executor运行情况将随着心跳发送到资源管理器上； (3)SparkContext构建成DAG图，将DAG图分解成Stage，并把Taskset发送给Task
spark运行基本流程
qq_21705851的博客
03-10 4560
一、基本流程 1.构建Spark Application的运行环境（启动SparkContext），SparkContext向资源管理器（可以是Standalone、Mesos或YARN）注册并申请运行Executor资源； 2.资源管理器分配Executor资源并启动StandaloneExecutorBackend，Executor运行情况将随着心跳发送到资源管理器上； 3.SparkCont...
Spark 的运行流程
谦卑t
01-12 797
目录 1.1、Spark的基本运行流程 1.2、运行流程图解 1.3、SparkContext初始化 1.4、Spark运行架构特点 1.5、DAScheduler 1.6、TaskScheduler 1.7、SchedulerBackend 1.8、Executor 1.1、Spark的基本运行流程 1、构建 DAG 使用算子操作 RDD 进行各种 transfor...
Spark运行原理【史上最详细】
热门推荐
Spark技术咖的博客
08-16 2万+
Spark应用程序以进程集合为单位在分布式集群上运行，通过driver程序的main方法创建的SparkContext对象与集群交互。 1、Spark通过SparkContext向Cluster manager(资源管理器)申请所需执行的资源（cpu、内存等） 2、Cluster manager分配应用程序执行需要的资源，在Worker节点上创建Executor 3、SparkContext...
Spark物理执行计划生成方法
weixin_53191998的博客
01-26 628
Spark具体采用3个步骤来生成物理执行计划：首先根据action（）操作顺序将应用划分为作业（job），然后根据每个job的逻辑处理流程中的ShuffleDependency依赖关系，将job划分为执行阶段（stage）。最后在每个stage中，根据最后生成的RDD的分区个数生成多个计算任务（task），具体如下所述。
Spark学习七 ——总体流程分析
heartless_killer的博客
03-10 283
Spark总体流程简述 1.构建DAG（调用RDD上的方法） 2.DAGScheduler将DAG切分Stage（切分的依据是Shuffle），将Stage中生成的Task以TaskSet的形式给TaskScheduler 3.TaskScheduler调度Task（根据资源情况将Task调度到相应的Executor中） 4.Executor接收Task，然后将Task丢入到线程池中执行 常见术语...
Spark的架构与基本运行流程
syp_net的博客
12-11 1161
Spark的架构与基本运行流程
大数据之Spark运行流程
weixin_43339889的博客
04-22 404
Spark On Yarn两种模式的运行流程
spark任务详细执行流程
最新发布
02-26
Spark任务的详细执行流程如下： 1. 创建SparkContext：首先，Spark应用程序需要创建一个SparkContext对象，它是与集群通信的主要入口点。 2. 创建RDD：在Spark中，数据被组织成弹性分布式数据集（RDD）。RDD可以从外部存储系统（如HDFS）中读取数据，也可以通过对已有RDD进行转换操作来创建。 3. 转换操作：Spark提供了一系列转换操作，如map、filter、reduce等。这些操作可以对RDD进行转换，生成新的RDD。转换操作是惰性求值的，即不会立即执行，而是记录下来以便后续执行。 4. 行动操作：当需要从RDD中获取结果时，需要执行行动操作。行动操作会触发Spark作业的执行，并将结果返回给驱动程序。 5. 任务划分：Spark将作业划分为一系列任务，每个任务处理RDD的一个分区。任务划分是根据数据的分区情况和可用的计算资源进行的。 6. 任务调度：Spark将任务调度到集群中的可用计算节点上执行。任务调度器负责将任务分配给可用的Executor，并监控任务的执行情况。 7. 任务执行：每个Executor会为分配给它的任务创建一个或多个线程，并在这些线程上执行任务。任务执行过程中，Executor会将数据从内存或磁盘中读取到计算节点上，并进行计算操作。 8. 数据传输：在任务执行过程中，Spark会根据需要将数据从一个节点传输到另一个节点。这种数据传输可以是节点内的数据传输，也可以是跨节点的数据传输。 9. 结果返回：当任务执行完成后，结果会返回给驱动程序。驱动程序可以将结果保存到外部存储系统，或者进行进一步的处理和分析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值