Spark中的资源调度

最新推荐文章于 2024-05-22 00:24:23 发布
最新推荐文章于 2024-05-22 00:24:23 发布
阅读量529 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiaoyaGrace/article/details/102955152
版权
Spark中涉及的资源调度可以分为4层:
  • YARN对不同SparkApplication(SparkContext)的调度
  • 同一个SparkAppliction内不同资源池(pool)之间的调度
  • 同一个SparkAppliction内同一个资源池(pool)内不同TaskSetManager的调度
  • 同一个SparkAppliction内同一个资源池(pool)内同一个TaskSetManager内的Task调度

前置为啥需要资源调度

当用户提交作业，Spark内部的执行流程如下图:
Spark上层的SQL/Streaming等最终都会生成RDD到底层SparkCore执行。如上图所示当RDD执行一个action类型的算子(如collect)会触发一个Job的提交到DAGScheduler，DAGScheduler会将Job拆成Stage(根据shuffle来拆分Stage)形成一个DAG，拆分的Stage之间有依赖关系，最后执行的是ResultStage,ResuStage之前会依赖ShuffleMapStage等，每个Stage的执行都需要先将它的父Stage执行完成。
当提交一个Stage执行时，Spark会给Stage生成一个对应的TaskSetManager，TaskSetManager用来管理该Stage中所有的Task。
最低0.47元/天 解锁文章
xiaoyaGrace
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Spark调度模式-FIFO和FAIR
weixin_30294709的博客
05-28 676
　　Spark中的调度模式主要有两种：FIFO和FAIR。默认情况下Spark的调度模式是FIFO（先进先出），谁先提交谁先执行，后面的任务需要等待前面的任务执行。而FAIR（公平调度）模式支持在调度池中为任务进行分组，不同的调度池权重不同，任务可以按照权重来决定执行顺序。对这两种调度模式的具体实现，接下来会根据spark-1.6.0的源码来进行详细的分析。使用哪种调度器由参数...
深入理解spark－两种调度模式FIFO，FAIR模式
快跑专栏
03-29 1082
前面我们应知道了一个任务提交会由DAG拆分为job，stage，task，最后提交给TaskScheduler，在提交taskscheduler中会根据master初始化taskscheduler和schedulerbackend两个类，并且初始化一个调度池； 1.调度池比较# 根据mode初始化调度池pool def initialize(backend: SchedulerBackend) { this.backend = backend // temporarily se.
Spark在YARN上运行图解（资源调度+任务调度）及案例
最新发布
weixin_52134189的博客
05-22 855
Spark集群配置YARN、client与cluster提交流程图解、编写spark程序在yarn上执行（计算圆周率）
Spark 调度模式-FIFO和FAIR
You can you up,No can no bb !
10-08 948
Spark 调度模式-FIFO和FAIR Spark中的调度模式主要有两种：FIFO和FAIR。默认情况下Spark的调度模式是FIFO（先进先出），谁先提交谁先执行，后面的任务需要等待前面的任务执行，后面的任务需要等待前面的任务执行。 而FAIR（公平调度）模式支持在调度池中为任务进行分组，不同的调度池权重不同，任务可以按照权重来决定执行顺序。Spark的调度模式可以通过spark.schedu...
深入理解spark两种调度模式：FIFO，FAIR模式
学亮编程手记
07-12 1613
深入理解spark－两种调度模式FIFO，FAIR模式 前面我们应知道了一个任务提交会由DAG拆分为job，stage，task，最后提交给TaskScheduler，在提交taskscheduler中会根据master初始化taskscheduler和schedulerbackend两个类，并且初始化一个调度池； 1.调度池比较 根据mode初始化调度池pool def initialize(backend: SchedulerBackend) { this.backend = backend
一次 Spark SQL 性能提升10倍的经历
热门推荐
chenyulancn的专栏
11-27 2万+
1. 遇到了啥问题 是酱紫的，简单来说：并发执行 spark job 的时候，并发的提速很不明显。 嗯，且听我慢慢道来，啰嗦点说，类似于我们内部有一个系统给分析师用，他们写一些 sql，在我们的 spark cluster 上跑。随着分析师越来越多，sql job 也越来越多，等待运行的时间也越来越长，我们就在想怎么把 sql 运行的时间加快一点。我们的整个架构是 spark
Spark_资源调优1
08-03
Spark性能优化中的资源调优是提升Spark作业效率的关键环节。资源调优涉及到对Spark作业运行过程中涉及的各种参数进行合理配置，以确保作业能高效、稳定地运行。本文将深入探讨Spark作业的基本运行原理以及关键的资源...
Spark官方文档中文翻译
05-19
Spark还支持动态资源调度，可根据任务需求自动调整资源分配。 **8. Spark编程模型** Spark提供Scala、Java、Python和R四种编程接口，允许开发者根据项目需求选择合适的语言。PySpark和SparkR方便了Python和R用户...
Spark MLlib配套课件资源
01-06
在Spark MLlib的使用中，我们通常会涉及以下几个核心知识点： 1. **用户画像(User Profile)**：用户画像是一种数据驱动的方法，通过收集用户的多维度信息，如社会属性、消费行为、兴趣偏好等，将其标签化，以构建一...
spark2官方中文文档
11-22
7. **性能优化**：Spark 2.0通过改进shuffle管理、增加动态资源调度和代码优化等措施，显著提升了整体性能。例如，新的Tungsten执行引擎利用Columnar存储和Code Generation技术，减少了内存消耗和提升了执行速度。 ...
Apache-Spark2.20源码中文注释
06-02
当用户提交任务时，Spark 将一系列操作转换成 DAG，并通过调度器进行任务分解和资源分配。 3. **存储系统**：Spark 支持内存和磁盘混合存储，通过缓存机制实现数据复用，提升计算效率。Tachyon 和 HDFS 是常见的...
178、Spark运维管理进阶之作业资源调度Fair Scheduler使用详解
ZJ__ZFH的博客
02-11 922
要启用Fair Scheduler，只要简单地将spark.scheduler.mode属性设置为FAIR即可 val conf = new SparkConf().setMaster(...).setAppName(...) conf.set("spark.scheduler.mode", "FAIR") val sc = new SparkContext(conf) 或者 --co...
Spark源码系列（三）作业运行过程
weixin_34082177的博客
06-20 146
作业执行 上一章讲了RDD的转换，但是没讲作业的运行，它和Driver Program的关系是啥，和RDD的关系是啥？ 官方给的例子里面，一执行collect方法就能出结果，那我们就从collect开始看吧，进入RDD，找到collect方法。 def collect(): Array[T] = { val results = sc.runJob(this, (iter: ...
spark资源调度和任务调度
zwyoozwz的博客
07-16 623
spark on yarn 模式资源调度和任务调度
spark作业调度
可可的专栏
04-25 1366
spark调度分为两种，一是应用之间的，二是应用内部作业的。 本文主要介绍spark应用内部的作业调度，多线程提交作业的情况下，各个job的调度方式。详细介绍了FIFO与Fair调度算法的原理、源码与案例。 结合thriftserver介绍了SQL级别的作业调度
Spark Core解析 2：Scheduler 调度体系
Liam's Blog (AI & BigData)
12-12 1266
Spark Core解析 2：Scheduler 调度体系 Overview 调度系统，是贯穿整个Spark应用的主心骨，从调度系统开始入手了解Spark Core，比较容易理清头绪。 Spark的资源调度采用的是常见的两层调度，底层资源的管理和分配是第一层调度，交给YARN、Mesos或者Spark的Standalone集群处理，Application从第一层调度拿到资源后，还要进行内部的任务...
Spark调度系统——调度池Pool
LINBE_blazers的博客
06-14 2364
TaskSchedulerImpl对Task的调度依赖于调度池Pool，所有需要被调度的TaskSet都被置于调度池中。调度池Pool通过调度算法对每个TaskSet进行调度，并将调度的TaskSet交给TaskSchedulerImpl进行资源调度。 1调度算法 调度池对TaskSet的调度取决于调度算法。特质SchedulingAlgorithm定义了调度算法的规范，代码如下： //...
Spark 2.4.8 Job调度
大怀特的博客
12-04 506
Spark 2.4.8 Job调度概览跨应用程序调度动态资源分配配置和设置资源分配策略请求策略移除策略优雅关闭ExecutorsApplication内部调度 概览 Spark 有多种工具为资源调度在复杂计算. 首先,回顾下,在集群模式概念中,每个 Spark application(SparkContext实例)运行一个独立一组executor 进程.群集管理 Spark运行的集群管理器提供工具为了调度跨应用. 其次,每个Spark application, 多个"jobs"(spark actions)
Spark---资源、任务调度
yaya_jn的博客
11-28 1585
例如：要找出网站活跃的前10名用户，活跃用户的评测标准就是用户在当前季度中登录网站的天数最多，如果某些用户在当前季度登录网站的天数相同，那么再比较这些用户的当前登录网站的时长进行排序，找出活跃用户。1、默认情况每个worker为当前的Application启动一个Executor，这个Executor使用集群中所有的cores和1G内存。2、在workr上启动多个Executor,设置--executor-cores参数指定每个executor使用的core数量。3、内存不足的情况下启动core的情况。
Spark任务调度和资源调度流程
07-27
Spark任务调度和资源调度流程可以分为以下几个步骤： 1. 任务提交：用户通过Spark应用程序将任务提交给Spark集群的主节点。 2. 任务划分：主节点将接收到的任务进行划分，将大型任务划分为更小的任务单元，称为任务阶段。 3. 任务调度：根据集群的资源情况，将任务阶段分配给可用的执行器（Worker节点），以实现并行处理。 4. 资源调度：资源调度器负责管理和分配集群中的资源，例如CPU、内存和磁盘等。常用的资源调度器有YARN、Mesos和Standalone等。 5. 任务执行：执行器接收到任务阶段后，根据指令执行具体的计算操作。每个执行器可以同时执行多个任务阶段，以实现并行计算。 6. 数据共享：在任务执行过程中，Spark会将数据按照需要的方式进行共享。例如，通过广播变量将数据复制到每个节点，或者通过共享变量在节点之间共享数据。 7. 结果返回：当所有任务阶段执行完毕后，执行器将结果返回给主节点。 8. 结果合并：主节点收集并合并所有任务阶段的结果，并将最终结果返回给用户。 这些步骤组成了Spark任务调度和资源调度的整个流程。通过合理的调度和资源管理，Spark可以实现高效的并行计算。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值