第35课： 打通Spark系统运行内幕机制循环流程

最新推荐文章于 2022-04-21 09:01:01 发布
最新推荐文章于 2022-04-21 09:01:01 发布
阅读量747 收藏 1
点赞数
分类专栏： SparkInBeiJing
热烈祝贺Gavin大咖2024年北京航空航天大学两本新书《Transformer&ChatGPT解密：原理、源码及案例》、《Transformer& Rasa 解密: 原理、源码及案例》出版发行
本文链接：https://blog.csdn.net/duan_zhihua/article/details/72808364
版权
本文深入探讨Spark的运行机制，重点解析DAGScheduler如何将Job划分为Stage，以及TaskScheduler如何调度这些Stage中的任务。TaskScheduler作为接口，实现了任务调度的可插拔性，使得Spark能适应多种资源调度器。文中还详细介绍了TaskSchedulerImpl的实现及其与DAGScheduler的交互，以及StandaloneSchedulerBackend在Standalone模式下的任务管理流程。
摘要由CSDN通过智能技术生成

第35课： 打通Spark系统运行内幕机制循环流程



Spark通过DAGScheduler面向整个Job划分出了不同的Stage，划分Stage之后，Stage从后往前划分，执行的时候从前往后执行，每个Stage内部有一系列的任务，Stage里面的任务是并行计算，并行任务的逻辑是完全相同的，但处理的数据不同。DAGScheduler以TaskSet的方式，把我们一个DAG构建的Stage中的所有任务提交给底层的调度器TaskScheduler。TaskScheduler是一个接口，跟具体的任务解耦合，可以运行在不同的调度模式下，如可运行在Standalone模式，也运行在Yarn上。

Spark的基础调度图包括RDD、DAGScheduler、TaskScheduler、Worker等内容，本节讲解TaskScheduler工作原理。


图 8- 3 Spark 运行原理图

D

了解本专栏 订阅专栏 解锁全文 超级会员免费看
段智华
关注
专栏目录
订阅专栏
大数据Spark “蘑菇云”行动第35课SparkMaster、Worker、Driver、Executor工作流程详解
段智华的博客
08-31 713
大数据Spark “蘑菇云”行动第35课SparkMaster、Worker、Driver、Executor工作流程详解
[Spark] 循环，合并，如何提速？——初学者Naive方法
henrysunUST的博客
07-21 390
一些时候，我们在for循环中使用Spark函数，同时想对每个loop的结果进行合并，或许是左右合并，或许是上下合并。 例如，一个naive的图画， 当然，上面的例子需要保证2者有共同的列，下面需要保证列的数量、内容相同。 基本操作： // 左右拼接 C = A.join(B, based_on_col="XXX") // 上下拼接 C = A.union(B) 可是，我在很多时候发现，此种代码很多情况下奇慢无比？？？ 说好的Spark处理大数据呢？？？骗我吗？？？ 经过我多番搜寻.
一天学完spark的Scala基础语法教程教程三、循环结构(idea版本)
红目香薰
01-26 1657
????前言???? ????博客主页：红目香薰_CSDN博客-大数据,计算机理论,MySQL领域博主???? ✍本文由在下【红目香薰】原创，首发于CSDN✍ ????2022年最大愿望：【服务百万技术人次】???? ????初始环境地址：【spark环境搭建(idea版本)_红目香薰-CSDN博客】???? 环境需求 环境：win10 开发工具：IntelliJ IDEA 2021.2 maven版本：3.6.3 目录 ????前言???? 环境需求 Scala 循环 循环
Spark中广播变量的作用（foreach往map添加数据后没有数据）
陈杰
04-03 2913
给定如下代码：import org.apache.spark.{SparkConf, SparkContext} object draft2 { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("评分").setMaster("local") val sc = new ...
spark代码一些特性-关于map与foreach区别/变量修改
探索数据奥秘的博客
12-21 1758
1、关于map与foreach区别： map：遍历RDD,将函数f应用于每一个元素，返回新的RDD(transformation算子)； foreach：遍历RDD,将函数f应用于每一个元素，无返回值(action算子)； 2、切记：spark中对变量的修改没有原地修改，这个和Python有很大区别 （1）val amendDatas: Seq[DataFrame] = datas.indices.map(idx=>{ datas(idx).withColumn(columnName.co...
重磅！Spark运行内幕 打通Spark系统运行内幕机制流程
段智华的博客
02-14 4342
Spark运行内幕 1、编写的一个WordCount的例子 【例】WordCount代码 1.       val conf = new SparkConf() //创建SparkConf对象 conf.setAppName("Wow,My First Spark App!") //设置应用程序的名称， conf.setMaster("local") // 程序在本地运行，但是以下的
Rasa对话机器人连载一 第121课：Rasa对话机器人Debugging项目实战之电商零售对话机器人运行流程调试全程演示-1
段智华的博客
04-21 949
Rasa 3.X对话机器人Debugging项目 全生命周期调试实战 Gavin大咖 2022-03-20 本电子书由段智华根据Gavin大咖Rasa AI上课内容整理编写。 https://blog.csdn.net/duan_zhihua NLP on Transformers高手之路137课 Rasa 3.x 源码高手之路 知识店铺：https://appybiyrtzd9613.h5.xiaoeknow.com/v1/goods/goods_detail/p_62277327e4b066e9608d
硅谷硬核Rasa课程、Rasa培训、Rasa面试系列之：Rasa 3.x rasa run actions等运行命令学习
ZimingUit的博客
02-21 582
rasa run actions 要使用Rasa run actions启动微服务，请运行： 以下参数可用于调整服务器设置： rasa visualize 要在浏览器中生成故事图，请运行： 如果您的故事位于默认位置 data/以外的位置，则可以使用–stories标志指定它们的位置。 以下参数可用于配置此命令： 运行一个示例 rasa visualize --domain E:\starspace\my_rasa\domain....
Rasa课程、Rasa培训、Rasa面试系列之：Rasa 3.x rasa data migrate等运行命令学习
StarSpaceNLP667的博客
02-20 317
Rasa课程、Rasa培训、Rasa面试系列之：Rasa 3.x rasa data migrate等运行命令学习 rasa data migrate 域 格式在2.0和3.0之间更改的唯一数据文件。您可以自动将2.0域迁移到3.0格式。 您可以通过运行以下命令启动迁移： 可以使用以下参数指定输入文件或目录以及输出文件或目录： 如果未指定参数，则默认域路径（domain.yml）将用于输入和输出文件。 此命令还将把2.0域文件备份到不同的original_do
spark循环中的变量问题，，foreach里面向map填值，在循环外面值没有了
时间(实践)是检验真理的唯一标准
08-26 2832
下面这个map在循环里面有值，到循环外的map里就没有值了。。。objectTest { defmain(args: Array[String]): Unit = { valconf =newSparkConf(); conf.setMaster("local[1]"); conf.setAppName("WcAppTask")...
35 Spark系统运行循环流程
Hipparchus的博客
05-14 9043
DT大数据梦工厂第三十五课 Spark系统运行循环流程 内容： 1. TaskScheduler工作原理 2. TaskScheduler源码
基于spark的Scala编程—循环处理DataFrame方法
心相印的专栏
11-30 6042
本文主要介绍spark的Scala编程中的循环处理DataFrame的方法，本文主要是在写数据自动化测试的一个demo，大体的思路就是配置好了测试用例，现在需要批量执行测试用例。 目前主要有如下三个方法： For/While循环 多线程 DataFrame的foreachPartition函数 这里给出来的都是代码片段，如果需要演示上面集中方法，那么需要在本地先构造好初始的DataFrame，...
ERROR cluster.StandaloneSchedulerBackend: Application has been killed. Reason: Master removed app...
Ahuuua的博客
11-15 4593
初次搭建spark standalone集群，进入spark shell后报错如下： $spark-shell --master spark://b1:7077 Setting default log level to "WARN". To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLeve...
Spark--默认创建RDD的分区个数规则
weixin_42051673的博客
04-20 922
Spark–默认创建RDD的分区规则 创建RDD的三种方式 1）从集合（内存）中创建 方法：parallelize、makeRDD 2）从外部存储中创建 方法：testFile 3）从其他RDD中创建（执行转换算子的时候） 1）从集合（内存）中创建 方法：parallelize、makeRDD 1、首先来看一下这种方式创建的RDD是怎样的分区规则 代码： object test02_RDDDefalutPatirion { def main(arg
spark scala遇到一个只能用foreach不能用map的问题
ginger的博客
04-04 1202
文件中数据格式：1^A1002^A1522718982.606^time_local=03/Apr/2018:09:29:42 +0800&http_referer=-&http_user_agent=Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325...
[spark] Standalone模式下Driver资源调度及Executor分配流程
u012989317的博客
06-18 1132
注：本文接上一篇文章【[spark] standalone集群模式Driver启动过程 】继续说明Driver在启动之后，如何申请资源的一个流程...... 目录 思路： 步骤： 总结： 思路： 在Standalone模式下集群启动时，Worker会向Master注册，使得Master可以感知进而管理整个集群； Master通过借助Zookeeper，可以简单实现高可用性； 而应用...
Spark架构简明分析
anningzhu的博客
03-07 4140
1.  RDD有哪些特性？ 2.  如何理解Application、Job、Stage、TaskSet以及Task？ 3.  Spark如何实现可插拔式的资源管理模块？ 4.  Spark如何实现RPC通信模块？ 5.  启动Standalone集群的流程是怎样的？ 6.  Spark集群计算时涉及到哪些核心组件？这些核心组件是如何交互的？ 7.  Spark
智能制造MES系统：打通生产执行与优化
- 制造成本居高不下： MES系统通过优化生产流程，减少浪费，提高资源利用率，帮助降低制造成本。 - 生产进度失控：MES提供实时监控和调度功能，确保生产按计划进行，避免进度延误。 - 计划排产困难：MES系统整合...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

段智华

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值