spark-driver端流程分析

最新推荐文章于 2023-10-13 11:15:18 发布
最新推荐文章于 2023-10-13 11:15:18 发布
阅读量1k 收藏 1
点赞数 1
分类专栏： spark 大数据 tanliqing的大数据之家
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tanliqing2010/article/details/80374935
版权

SparkSubmit命令执行过程

  1. 通过反射机制把SparkSubmit对象构造出来,自动去执行submit函数
  2. submit: 函数内部执行prepareSubmitEnvironment,准备提交环境,和doRunMain方法
  3. prepareSubmitEnvironment: 创建运行app执行所需的环境
    这里写图片描述
  4. doRunMain:
    a. 新建一个类加载器
    b. 获取自己包中的主类和main方法
    c. 执行main方法
    这里写图片描述
  5. 在main方法中,初始化SparkContext对象
    a. 初始化spark执行环境
    b. 创建TaskScheduer
    c. 创建DAGScheduler
    d. 启动TaskScheduer
    这里写图片描述
  6. 启动TaskScheduer
    a.
  7. 等等
tanliqing2010
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
spark源码分析四(Driver启动流程)
long的博客
11-25 438
spark-submit 源码版本2.4.7 spark-submit exec "${SPARK_HOME}"/bin/spark-class org.apache.spark.deploy.SparkSubmit "$@" 主类: org.apache.spark.deploy.SparkSubmit spark-class 会启动 Moudle->launcher org.apache.spark.launcher.Main的jvm进程,构建一些JVM相关启动环境、参数 从main方法跟踪发
Spark的Driver和Executor端代码划分
weixin_43690478的博客
08-10 1195
package sparkStream import org.apache.spark.sql.SparkSession import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream} object DriverAndExecutorCode { def main(args: Array[Str
大剑无锋之Spark中的Driver是什么？【面试推荐】
乔治大哥的博客
12-03 763
Spark中的Driver即运行Application的Main()函数并且创建SparkContext，其中创建SparkContext的目的是为了准备Spark应用程序的运行环境。在Spark中由SparkContext负责和ClusterManager通信，进行资源的申请、任务的分配和监控等；当Executor部分运行完毕后，Driver负责将SparkContext关闭。通常SparkCo...
spark driver 的功能是什么
weixin_59295776的博客
12-21 5087
1）一个Spark作业运行时包括一个Driver进程，也是作业的主进程，具有main函数，并且有SparkContext的实例，是程序的人口点； 2）功能：负责向集群申请资源，向master注册信息，负责了作业的调度，负责作业的解析、生成Stage并调度Task到Executor上。包括DAGScheduler，TaskScheduler。 ...
Spark 中数据结果传输到 Driver 端
m0_55685698的博客
10-13 580
我们知道将大量数据传输到 Driver 端可能会导致和的问题。这究竟是怎么一回事呢？让我们来一探究竟吧。
Driver 端长时容错详解
微信搜：import_bigdata，大数据领域硬核原创作者
04-16 359
福利部分： 《大数据成神之路》大纲 大数据成神之路 《几百TJava和大数据资源下载》 资源下载 本系列内容适用范围： * 2018.11.02 update, Spark 2.4 全系列 √ (已发布：2.4.0) * 2018.02.28 update, Spark 2.3 全系列 √ (已发布：2.3.0 ~ 2.3.2) * 2017.07.11 update, Spark...
spark-3.0.0-bin-hadoop3.2
02-17
在本场景中，我们讨论的是Spark的3.0.0版本，与Hadoop3.2相结合的二进制发行版——"spark-3.0.0-bin-hadoop3.2"。这个压缩包是为了在Windows操作系统下运行Spark而设计的，因此标签明确指出它是适用于Windows平台的...
apache-doris-spark-connector-2.3_2.11-1.0.1
05-05
Spark Doris Connector（apache-doris-spark-connector-2.3_2.11-1.0.1-incubating-src.tar.gz） Spark Doris Connector Version：1.0.1 Spark Version：2.x Scala Version：2.11 Apache Doris是一个现代MPP分析...
spark-3.2.4-bin-hadoop3.2-scala2.13 安装包
08-28
在本安装包“spark-3.2.4-bin-hadoop3.2-scala2.13”中，包含了用于运行Spark的核心组件以及依赖的Hadoop版本和Scala编程语言支持。以下是对这些关键组成部分的详细解释： 1. **Spark**: Spark的核心在于它的弹性...
apache-doris-spark-connector-3.1_2.12-1.0.1
05-05
Spark Doris Connector（apache-doris-spark-connector-3.1_2.12-1.0.1-incubating-src.tar.gz） Spark Doris Connector Version：1.0.1 Spark Version：3.x Scala Version：2.12 Apache Doris是一个现代MPP分析...
大数据组件-监控-spark-driver/executor性能的prometheus-grafana模板插件
01-29
大数据组件-监控-spark-driver/executor性能的prometheus-grafana模板插件
Spark总结
czladamling的博客
11-10 291
spark知识总结
Spark中的Driver和Executor的个人理解
登峰造极胡子球手
05-25 4190
Driver：Driver是Spark中Application也即代码的发布程序，可以理解为我们编写spark代码的主程序，因此只有一个，负责对spark中SparkContext对象进行创建，其中SparkContext对象负责创建Spark中的RDD（Spark中的基本数据结构，是一种抽象的逻辑概念） Driver的另外一个职责是将任务分配给各个Executor进行执行。任务分配的原则主要是就近原则，即数据在哪个Executor所在的机器上，则任务分发给哪个Exectuor。 简单来说就是：Drive.
Spark学习之driver
很吵请安静
01-14 9633
driver在spark中并不是一个非常重要的概念，但是在学习过程中对于他的理解感觉比其他组件都要费劲，花了几天的功夫终于把Driver弄明白了，希望这篇博客能对刚学习spark的人有点帮助 因为driver这个概念的理解与spark的运行模式有关，所以在讲解spark之前会先讲一下spark的四种分布式运行模式 spark的四种分布式运行模式 如图所示，上方为spark的架构图，s
Spark的driver理解和executor理解
liweihope的博客
06-09 9668
1.看了很多网上的图，大多是dirver和executor之间的图，都不涉及物理机器 如下图，本人觉得这些始终有些抽象 看到这样的图，我很想知道driver program在哪里啊，鬼知道？为此我自己研究了一下，网友大多都说是对的有不同想法的请评论 2.现在我有三台电脑 分别是 192.168.10.82 –>bigdata01.hzjs.co 192.168.10.83 –>bi...
Spark的几个基本概念：Driver和Job，Stage
热门推荐
JwLee的专栏
03-01 2万+
Driver Program, Job和Stage是Spark中的几个基本概念。Spark官方文档中对于这几个概念的解释比较简单，对于初学者很难正确理解他们的涵义。官方解释如下（http://spark.apache.org/docs/latest/cluster-overview.html）： Driver Program: The process running the main() func
Spark的架构以及driver的理解
weixin_44695980的博客
07-05 4156
这里先主要理解spark运行在四种资源管理器下的模式 上图为spark的架构图，spark的组件可以分为三个部分，driver、cluster Manager、worker(executor) standalone模式： standalone模式既独立模式，自带完整服务，可单独部署到一个集群中，无需依赖其他任何资源管理系统，只支持FIFO调度器。从一定程度上说，它是spark on yarn 和...
spark collect driver端操作
dataastron的博客
05-03 2309
collect是将数据获取到driver端进行操作 foreach是将计算操作推到集群上去分布式执行
重要|Spark driver端得到executor返回值的方法
大数据星球-浪尖
06-20 2337
有人说spark的代码不优雅，这个浪尖就忍不了了。实际上，说spark代码不优雅的主要是对scala不熟悉，spark代码我觉得还是很赞的，最值得阅读的大数据框架之一。今...
spark-submit提交spark-examples位置
最新发布
06-14
在使用`spark-submit`提交`spark-examples`中的示例程序时，你需要确保你的Spark安装目录结构正确，并且`spark-examples`目录位于`spark-submit`能够找到的位置。 通常情况下，`spark-examples`位于Spark的安装路径...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值