【Spark十二】Spark任务调度和作业执行流程初步

最新推荐文章于 2021-07-26 21:37:40 发布
最新推荐文章于 2021-07-26 21:37:40 发布
阅读量427 收藏
点赞数
分类专栏： Spark 文章标签： 大数据 数据结构与算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/axxbc123/article/details/84694252
版权

任务调度以及作业执行流程是Spark的核心，本文不进行源码级别的探究，只是概述Spark的核心组件、它们的作用以及它们如何协作以完成计算作业。

 

Spark核心组件

  • SparkContext
  • Job
  • RDD
  • DAGScheduler
  • DAG
  • TaskScheduler
  • Stage
  • TaskSet
  • Task
  • BlockManager
  • BlockTracker
  • ShuffleTracker

Spark集群架构概览

 

 

 

 在上面这幅图片中，用户将任务提交给Driver，Driver将任务分发到所有的Worker节点(Driver最好跟Work节点在同一个局域网内，以使得任务的分发和结果回送更快)。Worker节点根据Driver提交过来的任务，算出位于本地的那部分数据，然后对它进行计算(这

最低0.47元/天 解锁文章
axxbc123
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark：spark在集群中的运行机制
乔治在哪里
10-08 504
1.Spark运行时架构   Spark可以在各种各样的集群管理器（Hadoop Yarn、Apache Mesos，还有spark自带的独立集群管理器）上运行。Spark集群采用的是主从结构，在一个spark集群中，有一个节点负责中央协调，调度各个分布式工作节点。这个中央协调节点被称为驱动器节点（driver），与之对应的工作节点被称为执行器节点（executor）。驱动器节点可以和大量的执行器...
【Spark内核篇03】Spark任务调度机制1
08-04
Spark任务调度机制是Spark核心功能之一，它负责高效地组织和执行Spark应用程序中的计算任务。在深入理解这一机制之前，我们需要了解几个关键概念：Job、Stage和Task。 1. Job：Job是由Spark应用程序中的Action操作...
Spark的调度流程—详细、易懂、面试
BigData_Mining的博客
06-20 1163
先看一下Spark调度过程的流程图。这张图很不错：具体流程如下：1）DriverProgram即用户提交的程序定义并创建了SparkContext的实例，SparkContext会根据RDD对象构建DAG图，然后将作业(job)提交(runJob)给DAGScheduler。2）DAGScheduler对作业的DAG图进行切分成不同的stage[stage是根据shuffle为单位进行划分]，每个...
Spark内核之作业调度与任务的执行
Markble
09-20 7083
目录 一、作业的调度 1、Application 2、逻辑代码 3、 job 4、stage 5、task的切分 二、任务的执行 1 、任务包含的内容 2、 序列化 3、 任务的调度 4、任务的计算 5、shuffle 一、作业的调度 1、Application 1. Yarn中会有application，提交任务以后，就会产生一个应用，并有一个唯一的应用id 2. 在SparkConf中配置了setAppName(xxxx),设置应用的名字 3. SparkCont
Spark源码分析之作业和任务调度流程
SmallCatBaby的博客
06-16 576
一.前言 Spark的作业和任务调度系统是其核心。Spark的作业调度主要是基于RDD的一系列操作构成一个作业，然后在Executor上执行，这些操作算子主要分为转换和行动算子，对于转换算子的计算是lazy级别的，也就是延迟执行，只有出现了行动算子才触发作业的提交。在Spark调度中，最重要的是DAGScheduler和TaskSechduler两个调度器...
Spark的任务调度
热门推荐
张包峰的博客
12-11 1万+
本文尝试从源码层面梳理Spark在任务调度与资源分配上的做法。
big-whale:Spark、Flink等离线任务的调度以及实时任务的监控
05-13
巨鲸任务调度平台为美柚大数据研发的分布式计算任务调度系统，提供Spark、Flink等批处理任务的DAG调度和流处理任务的运行管理和状态监控，并具有Yarn应用管理、重复应用检测、大内存应用检测等功能。 服务基于Spring...
Spark作业调度
04-30
Spark作业调度 非常不错的讲解 值得分享
分布式计算任务调度系统，提供Spark、Flink等批处理任务的DAG调度和流处理任务的运行管理和状态监控
04-14
巨鲸任务调度平台为美柚大数据研发的分布式计算任务调度系统，提供Spark、Flink等批处理任务的DAG调度和流处理任务的运行管理和状态监控，并具有Yarn应用管理、重复应用检测、大内存应用检测等功能。
基于Scala和Java的Spark Streaming二次封装开源框架设计源码
最新发布
04-08
Spark Streaming二次封装开源框架 - 基于Scala和Java构建，包含1157个文件，提供实时流任务调度、Kafka偏移量管理、Web后台管理、Web API控制等功能。该框架简化业务开发流程，让开发者专注于业务逻辑，无需担心底层...
Spark资源调度和任务调度过程介绍
helloxiaozhe的博客
08-09 6265
Spark资源调度和任务调度过程介绍(ps.未验证) 一、前述 Spark的资源调度是个很重要的模块，只要搞懂原理，才能具体明白Spark是怎么执行的，所以尤其重要。 自愿申请的话，本文分粗粒度和细粒度模式分别介绍。 二、具体 Spark资源调度流程图：               Spark资源调度和任务调度的流程：                  1、启动集群后，Worker...
Spark 运行模式与运行流程
Mr.pan felix的专栏
07-12 556
概述 Spark，是一种通用的大数据计算框架，正如传统大数据技术Hadoop的MapReduce和Storm流式实时计算引擎等。 Spark包含了大数据领域常见的各种计算框架， 比如: Spark Core用于离线计算 Spark SQL用于交互式查询 Spark Streaming用于实时流式计算 Spark MLlib用于机器学习 Spark GraphX用于图计算 Spark VS MapReduce 这部分由于水平有限，只能转至其他大神的总结 www.cnblogs.com/dea
Spark作业提交及任务调度
dqwanghe00的博客
02-21 300
Yarn-Cluster 模式任务流程 一、任务提交流程 执行脚本提交任务，实际是启动一个 SparkSubmit 的 JVM 进程 SparkSubmit 类中的 main 方法 反射调用 YarnClusterApplication 的 main 方法创建客户端 YarnClusterApplication 在客户端创建 yarnClient，向 ResourceManager 提交用户的应用程序 RM 发送执行指令：bin/java ApplicationMaster，在指定的 Nod
【大数据开发面试】Spark的运行模式，spark的核心组件，spark中写代码的流程（spark中资源调度和任务调度，RDD的弹性分布模式）【图解+原理】
wyqwilliam的博客
08-04 426
 2.Spark运行模式？         1).Local:在eclipse/IDEA中编写代码，在本地运行         2).Standalone:Spark自带的资源调度框架，支持分布式搭建。         3).Yarn:Hadoop生态圈内的资源调度框架。         4).Mesos:资源调度框架。     3.Spark核心RDD         1).RDD(Res...
【Spark源码】RDD任务调度&任务执行
九筒的博客
05-13 226
工具环境 Intellij Idea 2018.03 spark3.0.0 <dependencies> <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-core_2.12</artifactId> <version>3.0.0</version> </d
spark多阶段任务
siyueabc的博客
05-13 169
import org.apache.spark.rdd.RDD val lines: RDD[String] = sc.parallelize(List("A B C","A B D"),3) //切分压平 val words: RDD[String] = lines.flatMap(_.split(" ")) //将单词和1组合 val wordAndOne: RDD[(String, Int)] = words.map((_, 1)) val...
Spark基本工作流程和作业调度
weixin_42870497的博客
07-26 680
基本工作流程 Spark的应用分为任务调度和任务执行两个部分 所以Spark程序都离不开SparkContext和Executor两部分，Executor负责执行任务，运行Executor的机器称为Worker节点，SparkContext由用户程序启动，通过资源调度模块和Executor通信。SparkContext和Executor这两部分在各种运行模式上是公用的。 SparkContext是程序运行的总入口，在SparkContext的初始化过程中，会分别创建DAGScheduler作业调度和Ta
Spark任务调度原理解析
yinxiuxiu_Y的博客
05-16 768
1.调用SparkSubmit类 执行submit方法 --&gt;doRunmain--&gt; RunMain--&gt;通过反射机制创建我们的主类对象--》再拿到主类的main方法--》执行主类的main方法2.开始构造sparkConf对象和sparkContext对象 作为提交任务的入口类，在sparkContext入口类里会做三件事，创建了SparkEnv对象（创建了ActorSyst...
第七章 在集群上运行Spark
射手家的狮子的专栏
02-01 473
Spark运行时框架 在分布式环境下，Spark集群采用的是主/从结构。一个节点负责中央协调，该节点被称为驱动器(Driver)节点.与之对应的工作节点被称为执行器（executor）节点。驱动器节点可以和大量的执行器节点进行通信，他们也都作为独立的Java进程运行。驱动器 和所有的执行器被称为一个Spark应用 Spark通过一个叫做做集群管理器的外部服务在急群众的机器上启动。 Spa
Spark任务调度和资源调度流程
07-27
Spark任务调度和资源调度流程可以分为以下几个步骤： 1. 任务提交：用户通过Spark应用程序将任务提交给Spark集群的主节点。 2. 任务划分：主节点将接收到的任务进行划分，将大型任务划分为更小的任务单元，称为...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值