Spark job提交源码解析

最新推荐文章于 2024-08-17 11:34:40 发布
最新推荐文章于 2024-08-17 11:34:40 发布
阅读量145 收藏
点赞数
分类专栏： spark入门到精通 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_24186017/article/details/120273140
版权 
在DAGScheduler中提交Job,其中调用dagScheduler.handleJobSubmitted()方法创建
ResultStage,在创建ResultStage的根据ShuffleDependency和普通dependency创建stage,普通OneToOneDependency创建ShuffleMapStage，ShuffleDependency创建ResultStage。

最后提交stage,调用submitStage(finalStage)

在submitStage(finalStage)方法中，调用submitMissingTasks提交tasks,

taskScheduler.submitTasks（），根据本地化规则优先级是1.进程本地化2.节点本地化3.NO_PREF4.机架本地化和Any规则将task序列化LaunchTask到executor

其中在DAGScheduler中进行阶段的划分，根据依赖是否是ShuffleDependency划分stage

executor任务的执行

CoarseGrainedExecutorBackend中接收（receive方法中）到TaskScheduler的LaunchTask方法，执行executor.launchTask(this, taskDesc)，启动一个线程池去运行task一个个的线程

流程总结图

Adobee Chen
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark-内核源码解析.docx
12-05
Spark 内核源码解析 Spark 是一个大规模数据处理框架，它的核心原理和架构组件对开发者和研究人员来说非常重要。为了深入了解 Spark 的内部机制，我们需要对其内核源码进行深入分析。 Application/App 在 Spark ...
Apache Spark源码走读之2 -- Job的提交与运行
01-06
在SparkShell中，用户提交的代码会首先被解析为Driver Program，然后利用SparkContext实例来创建和执行各个任务。 Spark作业的提交与运行过程大致可以分为以下几个步骤： 1. 创建SparkContext实例：用户在Spark...
spark job提交流程源码
zhaolq1024的博客
12-05 288
目录   #Job提交流程概览 #Task类型 1.Task 2.DAGTask 3.ResultTask 4.ShuffleMapTask #Stage划分 sc.runJob DAGScheduler.runJob submitStage() getMissingParentStages() getShuffleMapStage() #Task提交 submitM...
spark提交job源码分析
最自由的笑的博客
03-07 133
collect()算子源码分析 对于任何行动算子都会触发sparkjob的提交，查看collect()算子源码 *sc.runJob(this, (iter: Iterator[T]) => iter.toArray) //传入了一个函数f，它将每个分区迭代器转换为数组 *runJob(rdd, func, 0 until rdd.partitions.length) //多传入了一个0---分区长度的range集合 *val cleanedFunc = clean(func)
Spark 2.x 提交Job源码浅析
孙大迪迪的博客
11-17 253
大家都知道，spark job的提交是触发了Action操作，现在我在RDD.scala中找到collect算子，在这下面是有一个runjob方法 def collect(): Array[T] = withScope { val results = sc.runJob(this, (iter: Iterator[T]) => iter.toArray) Array.con...
Spark中job、stage、task的划分+源码执行过程分析
weixin_42073629的博客
12-02 292
SparkControlProcesses Driver Application entry point that contains the SparkContext instance Master In charge of scheduling and resource orchestration
 Worker Responsible for node stat...
Spark源码分析之一：Job提交运行总流程概述
weixin_34242819的博客
02-14 204
Spark是一个基于内存的分布式计算框架，运行在其上的应用程序，按照Action被划分为一个个Job，而Job提交运行的总流程，大致分为两个阶段： 1、Stage划分与提交 （1）Job按照RDD之间的依赖关系是否为宽依赖，由DAGScheduler划分为一个个Stage，并将每个Stage提交给Task...
spark源码阅读笔记(详)
05-16
### Spark源码解析要点 #### 一、Spark概述与特性 **Spark** 是一款由加州大学伯克利分校AMP实验室研发的数据处理框架，它极大简化了大数据应用的开发流程，支持多种编程语言如Java、Scala、Python和R，使得开发者...
spark源码阅读笔记
11-16
本文将深入探讨Spark的核心组件和工作原理，通过源码阅读笔记来解析Spark的内部机制。 首先，Spark的核心架构由Master、Worker和Driver三部分组成。Master节点在Spark集群中起到协调者的作用，它管理所有的Worker...
(spark源码)job生成和提交
IAmListening的博客
06-01 808
摘要 spark中, Job的提交可以分为四个阶段 RDD生成相互间的依赖关系. 实际上依赖关系是RDD的固有属性, 也就是说, 每个RDD生成时, 依赖就已经被生成了 DVG过程, 将Action算子对应的RDD作为finalStage, 由后往前递归的遍历所有RDD, 并根据宽窄依赖划分Stage 根据partition数量, 生成对应数量的Task Worker调用executor执行运算...
Spark源代码阅读（一）
define_us的专栏
11-13 5885
强烈推荐 https://blog.csdn.net/weixin_41705780/article/details/79273666 总体架构 Spark工程下的模块 spark core, spark 内核 spark streaming, spark流计算(基于batch方式) spark sql MLlib, 机器学习lib库 GraphX, 图计算 R, 与R语言结合 Python，与...
Spark源码解析之任务提交（spark-submit）篇
热门推荐
学习，我们是认真的
07-12 1万+
今天主要分析一下Spark源码中提交任务脚本的处理逻辑，从spark-submit一步步深入进去看看任务提交的整体流程,首先看一下整体的流程概要图： 接下来按照图中结构出发一步步看源码：spark-submit#!/usr/bin/env bash# # Licensed to the Apache Software Foundation (ASF) under one or more # con
【Spark集群部署系列四】Spark on YARN介绍和环境部署(个人笔记，供参考)
qq_65231448的博客
08-14 949
通常如果我们想要一个稳定的生产Spark环境, 那么最优的选择就是构建:HA StandAlone集群.。不过在企业中, 服务器的资源总是紧张的, 许多企业不管做什么业务,都基本上会有Hadoop集群. 也就是会有YARN集群。对于企业来说,在已有YARN集群的前提下在单独准备Spark StandAlone集群,对. 所以, 在企业中,多 数场景下,会将集群中。YARN本身是一个资源调度框架, 负责对运行在内部的计算框架进行资源调度管理。
【赵渝强老师】Spark SQL的数据模型：DataFrame
赵渝强老师CSDN博客主页
08-15 951
Scala中提供了一种特殊的类，用case class进行声明，中文也可以称作“样本类”。样本类是一种特殊的类，经过优化以用于模式匹配。样本类类似于常规类，带有一个case 修饰符的类，在构建不可变类时，样本类非常有用，特别是在并发性和数据传输对象的上下文中。在Spark SQL中也可以使用样本类来创建DataFrame的表结构。（1）定义员工表的结构Schema。（2）将员工数据读入RDD。（3）关联RDD和Schema。（4）生成DataFrame。（5）查询员工表中的数据，结果如下图所示。
Spark2.x 入门：套接字流（DStream）
跟着大数据和AI去旅行
08-14 537
Spark Streaming可以通过Socket端口监听并接收数据，然后进行相应处理。 新建NetworkWordCount.scala代码文件，请在该文件中输入如下内容： package org.apache.spark.examples.streaming import org.apache.spark._ import org.apache.spark.streaming._ im
【赵渝强老师】Spark Streaming中的DStream
最新发布
赵渝强老师CSDN博客主页
08-17 184
因此DStream对象就是Spark Streaming中最核心的对象。DStream的核心是通过时间的采用间隔将连续的数据流转换成是一系列不连续的RDD，在由Transformation进行转换，从而达到处理流式数据的目的。通过上图中可以看出DStream的表现形式其实就是RDD，因此操作DStream和操作RDD的本质其实是一样的。由于DStream是由一系列离散的RDD组成，因此Spark Streaming的其实是一个小批的处理模型，本质上依然还是一个批处理的离线计算。
大数据-81 Spark 安装配置环境 集群环境配置 超详细 三台云服务器
永远好奇，无限进步！
08-14 1627
上节完成了Spark的介绍、Spark特点、Spark部署模式、系统架构。本节我们在三台云服务器上实机部署配置Spark的集群环境，包含环境变量与配置等内容。使用我们之前编写的 rsync-script 工具。当然你也可以每台都配置一次也行，只要保证环境一致即可。（之前Hadoop等都使用过，如果你没有，你可以用复制或者别的方式）页面如下，为了保证稳定和学习的方便，我用了比较老的版本：2.4.5。每天机器都需要配置环境变量！配置完的结果，记得刷新环境变量。
spark shell 删除失效_spark任务提交源码解析
03-16
至于Spark任务提交源码解析，这是一个比较广泛的话题，需要具备一定的Spark编程经验和相关知识。一般来说，Spark任务提交源码解析主要涉及Spark的任务调度、资源管理、任务分配等方面的内容。如果您需要更具体的帮助...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值