spark任务调度和资源框架

最新推荐文章于 2024-09-12 10:55:49 发布
最新推荐文章于 2024-09-12 10:55:49 发布
阅读量648 收藏
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/elpsyco/article/details/103300449
版权
本文详细介绍了Spark的任务调度过程，从Driver构建SparkContext，DAGScheduler划分Stage，到TaskScheduler分配Task到Executor。讨论了standalone模式、Client模式和Cluster模式下Spark任务的提交与执行流程，涉及Executor启动、Task执行以及资源管理等方面。
摘要由CSDN通过智能技术生成

spark的任务调度在这里插入图片描述

  • Driver会运行客户端main方法中的代码，代码就会构建SparkContext对象，在构建SparkContext对象中，会创建DAGScheduler和TaskScheduler，然后按照rdd一系列的操作生成DAG有向无环图。最后把DAG有向无环图提交给DAGScheduler
  • DAGScheduler拿到DAG有向无环图后，按照宽依赖进行stage的划分，这个时候会产生很多个stage，每一个stage中都有很多可以并行运行的task，把每一个stage中这些task封装在一个taskSet集合中，最后提交给TaskScheduler
  • TaskScheduler拿到taskSet集合后，依次遍历每一个task，最后提交给worker节点的exectuor进程中。task就以线程的方式运行在worker节点的executor进程中。

standalone模式

  • 使用sparksubmit提交任务，Driver运行在Client上
  • 使用本地的Client类的main函数创建sparkcontext并初始化它
  • sparkcontext连接到Master，注册并申请资源
  • master根据sc提出的申请，根据worker的心跳报告，来决定在哪个worker上启动executor
  • executor向sc注册，sc将应用分配给executor
  • sc解析应用，创建DAG图，提交给DAGScheduler进行分解成stage，
最低0.47元/天 解锁文章
elpsyco
关注
专栏目录
Spark调度与资源管理：深入理解其机制
AI天才研究院
02-09 179
Apache Spark是一个快速、通用、可扩展的分布式计算系统，它可以处理大规模数据集并提供高效的数据处理能力。Spark的成功得益于其高效的调度和资源管理机制，这使得Spark可以在大规模集群上运行，并且可以充分利用集群的资源。在Spark中，调度和资源管理是非常重要的组成部分，它们直接影响Spark的性能和可扩展性。因此，深入理解Spark的调度和资源管理机制是非常必要的。本文将介绍Spark的调度和资源管理机制，包括其核心概念、算法原理、具体操作步骤和最佳实践。
Spark处理框架
crazy_scott的博客
10-20 513
Spark：an unified analytics engine for large-scale data processing Spark VS MapReduce MapReduce implementation principles 对于一个MapReduce作业来说，大致操作为： 可以发现，其主要的改变就是文件内容的变化 中间结果需要写磁盘，开销非常大 Hadoop...
spark的数三角形算法_Spark任务调度概述
weixin_29821699的博客
12-23 282
本文讲述了Spark任务调度的实现框架，概要分析了Spark从Job提交到Task创建并提交给Worker的整个过程。并对Spark任务调度相关的概念进行了介绍。任务调度总体流程从设计层面来说，Spark把任务的执行过程划分成多个阶段，每个阶段由一个处理对象来进行处理，并把处理完成的结果传递个下一个处理对象进行处理。这个过程如下图1所示：图1 任务调度总体流程抽象我们知道RDD是懒加载，一般来说S...
Spark资源和调度框架
sinat_42283378的博客
09-29 381
资源调度框架 宽窄依赖关系 RDD之间的宽窄依赖关系，只要看父RDD和子RDD之间的关系： 1.窄依赖: 父RD与子RDD之间是一对一的关系。子RDD有多个父RDD，也称为窄依赖，这样是依赖是窄依赖，窄依赖不会产生shuffle(节点之间数据的传输称为shuffle)。 *每个应用程序都有独立的excutors:不会存在共用的情况。一个job和action对应** 每组的任务被称为一个stage。stage是由并行的他上课组成 关于stage 1.每个partition中放的是逻辑，是一条数据进行
大数据之Spark 资源调度
最新发布
ytp552200ytp的博客
09-12 711
大数据之Spark 资源调度
Spark 入门之四：Spark任务调度架构
不积跬步，无以至千里；不积小流，无以成江海！
11-07 1363
以Spark集群的方式运行 standlone 的运行：bin/spark-shell --master spark://hadoop1:7077 --executor-memory 3g 运行在Yarn上 yarn-client的运行：bin/spark-shell --master yarn-client --executor-memory 3g --num-ex
【Spark】Spark 任务调度
每天更新大数据面经和技术
05-08 2335
  干了一周的活，感想就是 SQL 能力要提高，原理要搞清楚。SQL 熟练才能快速写出业务代码。原理搞清楚才能调优。运行一次程序需要一两个小时，调优后可以大大缩短任务运行时间。所以基础很重要。今天继续学习 Spark 的基础——Spark 任务调度机制。   在生产环境下，Spark 集群的部署方式一般为 YARN-Cluster 模式，之后的内核分析内容就 基于 YARN-Cluster 模式。YARN-Cluster 模式以及任务提交流程可以看之前的文章。 【Spark】Spark 的运行环境、运行架构
spark任务调度流程梳理
QQ1131221088的博客
08-15 1037
如果经常做大数据相关的工作，那么，分布式的程序是必不可少的，只有非常清晰的了解，大数据框架的调度流程及核心原理，才能写出高效的程序。所以，最近梳理下spark的调度流程。可能不是特别深入，但是，是自己逐步深入学习的基础。如果恰好能帮助到你的话，那是我的荣幸！ spark是什么？ Apache Spark™ is a unified analytics engine for large-scale ...
Spark资源调度和任务调度
秋雨ヾ的博客
05-30 143
Spark资源调度和任务调度的流程： 启动集群后，Worker节点会向Master节点汇报资源情况，Master掌握了集群资源情况。当Spark提交一个Application后，根据RDD之间的依赖关系将Application形成一个DAG有向无环图。任务提交后，Spark会在Driver端创建两个对象：DAGScheduler和TaskScheduler，DAGScheduler是任务调度的高层调度器，是一个对象。DAGScheduler的主要作用就是将DAG根据RDD之间的宽窄依赖关系划分为一个个的S.
Spark任务调度与资源管理机制深度解析
## 1.1 任务调度与资源管理的重要性 在大数据处理中，任务调度与资源管理是至关重要的。随着数据量的急剧增加，传统的数据处理方法已无法胜任，因此需要采用更高效的处理方式来应对大规模数据处理的挑战。而任务...
18. Spark任务调度和执行过程解析
# 1. Spark任务调度介绍 ## 1.1 什么是Spark任务调度 在Spark中，任务调度是指将各个阶段的任务按照一定的顺序和优先级安排起来，以便在...Spark任务调度的流程一般包括作业分解、任务调度和资源分配三个阶段。作业分
Spark 调度架构原理解析
路漫漫其修远兮，吾将上下而求索
11-27 4503
Spark 调度架构原理解析 1. 启动spark集群，就是执行sbin/start-all.sh ,启动master和多个worker节点，master主要作为集群的管理和监控，worker节点主要担任运行各个application的任务。master节点需要让worker节点汇报自身状况，比如CPU,内存多大，这个过程都是通过心跳机制来完成的 2. master收到worker的汇报信息之后
spark资源调度源码浅谈
weixin_43607641的博客
11-06 513
纸上得来终觉浅，觉知还是要撸代码 此文章适合以下人群参考： 1.接触过spark，有spark基础的同学 2.知其然不知其所以然的同学 3.对于源码好奇的同学 4.大神勿看 大家都知道，大数据中，其实最紧张的就是资源，那么如何利用有限的资源提高运算与吞吐，就是一个框架的核心。一直觉得spark是一个不错的大数据框架，那么spark怎么解决资源调度的问题？ 下面我们简单梳理一下spark的资源调度流...
spark资源调度和任务调度
zwyoozwz的博客
07-16 667
spark on yarn 模式资源调度和任务调度
Spark中Standalone、Yarn和Mesos三种资源管理和任务调度框架的对比
Pizza_great的博客
09-27 2454
Spark on Standalone： Standalone是SparkCore自带的集群资源管理框架，类似于MR V1.0采用的模式（JobTracker），内部实现了容错性和资源管理。 内部架构：Client、Master、Worker Spark on Standalone的运行流程是将程...
Spark的资源调度和任务调度
Mage的博客
11-23 383
我这里以standalone-client模式为例。。。。。。。 1.资源调度 ①Worker向Master汇报资源 ②Master掌握集群的资源 ③new SparkContext（conf）创建DAGScheduler对象和TaskSchedule对象 ④TaskSchedule向Master申请资源 ⑤Master收到请求后，找到满足资源的节点，启动Executor ⑥Executor启动之...
Aloha：一个分布式任务调度框架
weixin_33682719的博客
03-23 459
概览 Aloha 是一个基于 Scala 实现的分布式的任务调度和管理框架，提供插件式扩展功能，可以用来调度各种类型的任务。Aloha 的典型的应用场景是作为统一的任务管理入口。例如，在数据平台上通常会运行各种类型的应用，如 Spark 任务，Flink 任务，ETL 任务等，统一对这些任务进行管理并及时感知任务状态的变化是很有必要的。 Aloha 的基本实现是基于 Spark 的任务调度模块，在...
Spark
weixin_42010530的博客
05-20 775
Spark运行架构包括集群资源管理器（Cluster Manager）、运行作业任务的工作节点（Worker Node）、每个应用的任务控制节点（Driver）和每个工作节点上负责具体任务的执行进程（Executor）。其中，集群资源管理器可以是Spark自带的资源管理器，也可以是YARN或Mesos等资源管理框架。 在Spark中，一个应用（Application）由一个任务控制节点（Driver）和若干个作业（Job）构成，一个作业由多个阶段（Stage）构成，一个阶段由多个任务（Tas..
“戏”说spark---资源调度和任务调度
weixin_35602748的博客
12-05 998
在“戏”说Spark-spark运行模式简解一文中不管是以client或者是以cluster的方式提交到Standalone上还是提交到yarn上，我们就概括性的描述了提交运行的流程，大概就是创建Driver，申请资源，分发任务，执行任务，返回结果这么一个过程。在“戏”说Spark-Spark核心-Stage划分及Pipline的计算模式一文中，我们详细的了解了RDD宽窄依赖的划分是为了Stage的划分，Stage的划分是为了实现再依赖组成的stage里面的Pipline的计算模型，那Spark是怎么实现资
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值