Spark(14) -- Spark的任务调度

最新推荐文章于 2022-10-30 14:47:43 发布
最新推荐文章于 2022-10-30 14:47:43 发布
阅读量665 收藏 1
点赞数
分类专栏： 大数据学习 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/eraining/article/details/108927012
版权
本文深入探讨了Spark的任务调度过程，包括DAGScheduler如何根据RDD依赖关系划分Stage，TaskScheduler如何具体调度任务，并在Worker节点上的Executor执行。DAGScheduler处理DAG图，物化关键Stage，而TaskScheduler负责任务分配、数据本地性和推测执行。整个流程从客户端提交应用到Executor执行任务，涉及DAG、Stage、TaskSet和Task等多个层面。
摘要由CSDN通过智能技术生成

1. 任务调度流程图

在这里插入图片描述
 各个RDD之间存在着依赖关系，这些依赖关系就形成有向无环图DAG，DAGScheduler对这些依赖 关系形成的DAG进行Stage划分，划分的规则很简单，从后往前回溯，遇到窄依赖加入本stage，遇 见宽依赖进行Stage切分。完成了Stage的划分。DAGScheduler基于每个Stage生成TaskSet,并将 TaskSet提交给TaskScheduler。TaskScheduler 负责具体的task调度,最后在Worker节点上启动 task。

  • 1-首先RDD计算任务是DAG有向无环图的形式
  • 2-使用DAGScheduler负责将graph图切分为stage
  • 3-DAGSCheduler会提交stages的taskset给taskScheduler执行
  • 4-向CLusterManager申请资源启动task，这里ClusterManager在spark自身的standalone模式下就指的是master和worker，在yarn模式下指的是RM和NM，同时TaskScheduler会监控某些计算失败的算子重新拉取task执行计
了解本专栏 订阅专栏 解锁全文 超级会员免费看
erainm
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
订阅专栏
Spark14：Spark程序性能优化02：算子优化
weixin_40612128的博客
03-09 618
一、map vs mapPartitions map 操作：对 RDD 中的每个元素进行操作，一次处理一条数据。 mapPartitions 操作：对 RDD 中每个 partition 进行操作，一次处理一个分区的数据。 所以： map 操作： 执行 1 次 map算子只处理 1 个元素，如果 partition 中的元素较多，假设当前已经处理了 1000 个元素，在内存不足的情况下，Spark 可以通过GC等方法回收内存（比如将已处理掉的 1000 个元素从内存中回收）。因此， map 操作通常不会导致
Spark(14)-Scala-apply与update（简述）
Matrix70的博客
06-07 389
1、定义一个apply方法，返回值2、进行实例化，不可变的myObject ,前面说过凡是类没有参数的话，可以不加括号，TestApplyClass就是一个。直接生成一个实例。3、传递参数param1执行结果：因此证明了，采用这种方式传递一个参数时，确实会默认调用已经定义好的apply方法。我们myObject就是一个变量，对myObject这个变量我们使用括号传递一个字符串类型的参数param1，这时候会自动生成对apply 方法的调用，打印后续结果。
spark14-待续。。。
sz_bdqn的专栏
04-12 223
spark14-待续。。。
一起学Spark（14）-- 其他简介
ouprince
02-27 488
1.Apache Zookeeper： Apache Zookeeper 是一个分布式，无主服务器的协调服务。假设在分布式环境中有一个无主服务，那就表明没有协调中心，而如果没有协调中心，则集群中每一个zookeeper节点都可以被启动。 假设Zookeeper 服务可用，Spark master 就能依赖它确保在给定的任意时刻，只有一个master控制集群。因此当前master可以在任意给定节...
Windows 上使用Intellij DEAR14 搭建Spark14编程环境总结
Macalzheng的专栏
09-12 544
1.下载安装Scala2.10.5 2.下载安装Intellij DEAR14 3.下载安装scala-intellij-bin-1.5.2（Scala插件），当然网速好的话，可以使用Intellij DEAR14安装Scala插件 这里我们使用手动下载，下载完成后，解压到Intellij IDEA 安装目录中的plugins里面去 4.下载spark-1.4.0-bin-hadoop2.
spark-3.0.0-bin-hadoop3.2
02-17
8. **Hadoop 3.2兼容性**：此版本的Spark与Hadoop 3.2兼容，意味着可以充分利用Hadoop的新功能，如YARN的资源调度优化和HDFS的增强。 9. **机器学习库MLlib**：MLlib在3.0.0版本中也有所更新，支持更多的算法，同时...
spark-3.2.4-bin-hadoop3.2-scala2.13 安装包
最新发布
08-28
它提供了一组高级APIs，支持批处理、交互式查询（Spark SQL）、实时流处理（Spark Streaming）和机器学习（MLlib）等多种数据处理任务。Spark 3.2.4是其稳定版本，引入了多项性能优化和新特性。 2. **Hadoop**: ...
spark-3.2.1-bin-hadoop2.7.tgz
02-20
1. Spark Core：Spark的基础框架，负责任务调度、内存管理、错误恢复以及与存储系统的交互。 2. Spark SQL：提供了SQL接口和DataFrame/Dataset API，使得开发人员可以方便地进行结构化和半结构化数据处理。 3. Spark...
spark-3.1.3-bin-hadoop3.2.tgz
05-19
4. 容错性和稳定性：Spark的设计目标之一是高容错性，3.1.3版可能会在任务调度、错误恢复和资源管理方面有进一步增强。 5. 集成与兼容性：预编译的Hadoop 3.2版本意味着Spark 3.1.3可以更好地与Hadoop生态系统中的...
spark-3.2.0-bin-hadoop3.2.tgz
01-04
Spark Core是Spark的基础，提供了分布式任务调度、内存管理以及错误恢复等核心功能。Spark SQL则允许用户使用SQL或者DataFrame API来处理结构化数据，与传统SQL数据库无缝集成。Spark Streaming支持实时流处理，能够...
【Spark NLP】第 14 章：搜索引擎
sikh_0529的博客
10-30 635
中，您正在组合存储在不同索引中的数据，也许还有其他类型的数据存储，并一次搜索所有数据。我们使用排名的对数，以便折扣将列表中较早的项目比列表中较晚的项目更强烈地分开。然后，我们将构建一个查询函数，允许用户在他们的查询中使用索引文档的不同字段。我们将构建一个特殊的查询，该查询将利用我们文档的字段。为了查询我们的索引，我们需要选择要查询的字段。我们希望能够改进我们的搜索结果，而无需重新索引所有数据。如果您的数据包含您认为与判断相关的额外字段，则应修改导出的字段以包含它们。现在，我们可以量化我们的索引的工作情况。
用Scala实现WordCount
qq_38482061的博客
04-22 399
import scala.io.Source object test { def main(args: Array[String]): Unit = { // Hello Scala // Hello Spark // Hello Hadoop // TODO 1. 读取文件 val list: List[String] = Source.fromFile("input/...
spark（14）-从物理执行的角度透视Spark Job（corse23）
王小禾
12-12 406
1. 从物理执行的角度透视Spark Job学习内容：1、再次思考pipeline 2、窄依赖物理执行内幕 3、宽依赖物理执行内幕 4、Job提交流程1.1、再次思考pipeline即使采用pipeline的方式，函数f对依赖的RDD中的数据集合的操作也会有两种方式 1)f(record), f作用于集合的每一条记录，每次只作用于一条记录 2)f(records),f一次性作用于集合点
Spark MLlib简介
MusicDancing的博客
09-04 7025
1. Spark 机器学习库MLlib 从1.2 版本后被分为两个包 1. spark.mllib 历史较长，包含了基于RDD的原始算法API。 2. spark.ml 提供了基于DataFrames高层次的API，可以用来构建ML Pipeline，弥补了MLlib库的不足，向用户提供了一个基于DF的ML 工作流式API。 ...
『 Spark 』14. 一次 Spark SQL 性能提升10倍的经历
u013405116的博客
04-17 736
写在前面 本系列是综合了自己在学习spark过程中的理解记录 ＋ 对参考文章中的一些理解 ＋ 个人实践spark过程中的一些心得而来。写这样一个系列仅仅是为了梳理个人学习spark的笔记记录，所以一切以能够理解为主，没有必要的细节就不会记录了，而且文中有时候会出现英文原版文档，只要不影响理解，都不翻译了。若想深入了解，最好阅读参考文章和官方文档。 其次，本系列是基于目前最新的 spark 1.6....
Spark 系列（十四）—— Spark Streaming 基本操作
黑白影的博客
06-08 941
一、案例引入 这里先引入一个基本的案例来演示流的创建：获取指定端口上的数据并进行词频统计。项目依赖和代码实现如下： <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.12</artifactId> <v...
spark14--游戏项目,面试中的集群问题
大数据开发工程师
01-20 1031
一 项目 1.1 面试中需要掌握的项目流程 项目描述 项目实现后能够分析出来的维度, 能够让决策者有哪方面的把控 技术架构. 该项目中用到的技术, 从以下几个方面进行描述 数据的生成 数据的采集 数据的清洗 源数据的存储 需求分析 结果的存储 需求的理解和实现思路 项目中分析的维度. 例如有用户维度, 地域维度, 浏览器维度等 负责过哪些需求. 参与过哪些工作(包括实现需求...
Kafka高级(5) -- Kafka中数据清理（Log Deletion）
erainm
09-16 2057
Kafka的消息存储在磁盘中，为了控制磁盘占用空间，Kafka需要不断地对过去的一些消息进行清理工作。Kafka的每个分区都有很多的日志文件，这样也是为了方便进行日志的清理。在Kafka中，提供两种日志清理方式： 1. 日志删除 2. 日志压缩
Kafka高级(6) -- Kafka配额限速机制（Quotas）
erainm
09-16 1890
生产者和消费者以极高的速度生产/消费大量数据或产生请求，从而占用broker上的全部资源，造成网络IO饱和。有了配额（Quotas）就可以避免这些问题。Kafka支持配额管理，从而可以对Producer和Consumer的produce&fetch操作进行流量限制，防止个别业务压爆服务器。 1. 限制producer端速率 2. 限制consumer端速率 3. 取消Kafka的Quota配置
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

erainm

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值