Spark之Job调度模式

原创 2015年11月18日 16:59:43
用户通过不同的线程提交的Job可以并发运行,但是受到资源的限制。Job到调度池(pool)内申请资源,调度池会根据工程的配置,决定采用哪种调度模式。

  • FIFO模式
     在默认情况下,Spark的调度器以FIFO(先进先出)方式调度Job的执行。每个Job被切分为多个Stage。第一个Job优先获取所有可用的资源,接下来第二个Job再获取剩余资源。以此类推,如果第一个Job并没有占用所有的资源,则第二个Job还可以继续获取剩余资源,这样多个Job可以并行运行。如果第一个Job很大,占用所有资源,则第二个Job就需要等待第一个任务执行完,释放空余资源,再申请和分配Job。如果是相同的Job不同的Stage,则优先执行较早的Stage。
  • FAIR模式
     在FAIR共享模式调度下,Spark在多Job之间以轮询(round robin)方式为任务分配资源,所有的任务拥有大致相当的优先级来共享集群的资源。这就意味着当一个长任务正在执行时,短任务仍可以分配到资源,提交并执行,并且获得不错的响应时间。这样就不用像以前一样需要等待长任务执行完才可以。这种调度模式很适合多用户的场景。
版权声明:本文为博主原创文章,未经博主允许不得转载。

Spark资源调度与任务调度(standalone模式)

说明:本文所讲的Spark资源调度与任务调度是standalone模式下的调度,其它模式下的调度(如Yarn、Mesos等)暂不涉及。 我们结合具体的应用案例——WordCount.scala 来详...
  • u010476994
  • u010476994
  • 2017年06月12日 15:12
  • 1210

Spark源码分析之二:Job的调度模型与运行反馈

在《Spark源码分析之Job提交运行总流程概述》一文中,我们提到了,Job提交与运行的第一阶段Stage划分与提交,可以分为三个阶段:         1、Job的调度模型与运行反馈;       ...
  • lipeng_bigdata
  • lipeng_bigdata
  • 2016年02月16日 08:38
  • 2577

spark job提交过程

Driver的任务提交过程 1、Driver程序的代码运行到action操作,触发了SparkContext的runJob方法。 2、SparkContext调用DAGScheduler的runJ...
  • liu812769634
  • liu812769634
  • 2016年11月09日 17:28
  • 2043

Spark调度模式-FIFO和FAIR

Spark中的调度模式主要有两种:FIFO和FAIR。使用哪种调度器由参数spark.scheduler.mode来设置,默认为FIFO...
  • dabokele
  • dabokele
  • 2016年05月28日 18:12
  • 6380

大数据:Spark Core(二)Driver上的Task的生成、分配、调度

1. 什么是Task? 在前面的章节里描述过几个角色,Driver(Client),Master,Worker(Executor),Driver会提交Application到Master进行Work...
  • raintungli
  • raintungli
  • 2017年04月14日 09:21
  • 4484

Spark Streaming中并行运行任务

在运行Spark Streaming程序时,有时我们需要并行化任务的执行。比如任务A需要每隔5s输出计算结果,任务B用到了时间窗口,每隔1hour计算一次并输出结果。如果全部串行运行的话,在运行任务B...
  • ZHBR_F1
  • ZHBR_F1
  • 2017年05月27日 16:12
  • 978

Spark如何在一个SparkContext中提交多个任务

在使用spark处理数据的时候,大多数都是提交一个job执行,然后job内部会根据具体的任务,生成task任务,运行在多个进程中,比如读取的HDFS文件的数据,spark会加载所有的数据,然后根据bl...
  • u010454030
  • u010454030
  • 2017年07月04日 19:23
  • 2330

Spark疑问3之spark 如何并行执行多个Job?

使用Spark的时候一般都是一个application的Job串行执行,如何并行执行? 如何提高spark对计算资源(CPU和内存等)的利用率? 1M数据10个action或者更多的action,...
  • bob601450868
  • bob601450868
  • 2016年05月19日 18:41
  • 3216

Spark-submit提交任务到集群

1 IDEA 打包 示例代码参考AMPCamp2015之SparkSQL,开发环境使用idea。首先需要将程序打包成jar 选择project structure --》artif...
  • Kinger0
  • Kinger0
  • 2015年06月19日 16:01
  • 62810

浅谈yarn的调度模式

原文:http://dongxicheng.org/mapreduce-nextgen/hadoop-yarn-memory-cpu-scheduling/ Hadoop  YARN同时支持内存和CP...
  • XiaoXIANGZI222
  • XiaoXIANGZI222
  • 2016年10月13日 16:37
  • 1507
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Spark之Job调度模式
举报原因:
原因补充:

(最多只允许输入30个字)