【Spark】源码分析之spark-submit

最新推荐文章于 2023-11-27 23:47:23 发布

超新星X

最新推荐文章于 2023-11-27 23:47:23 发布

阅读量820

点赞数

分类专栏： BigData Spark 文章标签： Spark spark-submit

本文链接：https://blog.csdn.net/xin93/article/details/80670494

版权

BigData 同时被 2 个专栏收录

15 篇文章 0 订阅

订阅专栏

Spark

8 篇文章 1 订阅

订阅专栏

 
 在客户端执行脚本sbin/spark-submit的时候，通过cat命令查看源码可以看出，实际上在源码中将会执行bin/spark-class org.apache.spark.deploy.SparkSubmit 。 

 
 在IDEA导入的Spark-Core的源码进行分析。 

 
 首先Spark会把初始化的参数使用SparkSubmitArguments进行封装，之后对SparkSubmitAction类型进行模式匹配，一共有三种：1.SUBMIT 2. KILL 3. REQUEST_STATUS。 

 
 其中，SUBMIT就是匹配到用于怎么提交任务的方法submit()，提交任务都要先进行反序列化，所以submit()方法会先获取到反向代理，之后开启线程，解析到入口类的main方法并执行。 

 
 runMain()中，通过传入的远程代理对象，拿到入口类mainClass，获取main方法，并通过invoke（）执行 

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

超新星X

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
4
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

一文带你解析Spark的源码：从Spark-Submit任务提交到资源分配Executor

GitChat

05-15

4207

随着互联网的告诉发展，每天会有大量的数据产生，传统的数据分析手段已经不能满足现在的需求。Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎，现在形成一个高速发展应用广泛的生态系统。Spark由于其基于内存的计算模式，能够很好的应用于各个应用场景，包括离线数据分析、在线数据分析和机器学习等。要想深入的了解Spark，学习其源码实现是必不可少的过程。在本场 Chat 中，会讲到...

Spark 源码阅读 02：从 Spark-Submit 到 Driver 启动

weixin_43851569的博客

08-29

276

Spark 版本：3.0.0 找到入口理解一个项目最好的切入点就是找到一个入口。比如跟 Spark 的交互方式，如何把任务提交到 Spark 集群。通常使用 spark-submit 脚本来提交任务。它在 Spark 源码的 bin 目录下 bin文件夹中在存放了 spark-shell 等其他入口方式。我们来看一下 spark-submit 的具体内容。可以看到是一个shell脚本，加载的类是 org.apache.spark.deploy.SparkSubmit。 $@ 把执行的参数

4 条评论您还未登录，请先登录后发表或查看评论

spark源码分析

04-15

spark

Spark2.2源码分析:Spark-Submit提交任务

qq_16495805的博客

03-01

731

Spark源码阅读顺序 1. Spark2.2源码分析:Spark-Submit提交任务详解客户端通过spark-submit命令提交作业后，都先干了哪些事情。 spark集群启动后会干的事情大概画图如下：概述步骤 1.先执行spark-submit脚本，准备参数，选择集群管理器 2.启动driver,注册application,启动executor,划分任务，分发任务 3.返回（...

spark源码解析-sparkSubmit分析

missv5的博客

11-25

302

1.引入为了简单测试项目功能，我们可能只需要使用spark-shell就可以完成，但是企业级项目我们都是先打包好之后使用spark-submit脚本完成线上的spark项目部署。 ./bin/spark-submit \ --class com.example.spark.Test \ --master yarn \ --deploy-mode client \ /home/hadoop/dat...

Spark2.0.X源码深度剖析之 Spark Submit..

ws0owws0ow的博客

06-09

1218

Spark目前是大数据领域中最火的框架之一，可高效实现离线批处理，实时计算和机器学习等多元化操作，阅读源码有助你加深对框架的理解和认知本人将依次剖析Spark2.0.0.X版本的各个核心组件，包括以后章节的SparkContext，SparkEnv，RpcEnv，NettyRpc，BlockManager，OutputTracker,TaskScheduler,DAGScheduler等 Spark Submit 脚本是客户端提交任务时的入口脚本，里面包含了集群的提交模式，并行个数，core个数等，下面

Spark源码剖析 - 计算引擎

Swordfall的博客

08-10

278

本章导读 RDD作为Spark对各种数据计算模型的统一抽象，被用于迭代计算过程以及任务输出结果的缓存读写。在所有MapReduce框架中，shuffle是连接map任务和reduce任务的桥梁。map任务的中间输出要作为reduce任务的输入，就必须经过shuffle，shuffle的性能优劣直接决定了整个计算引擎的性能和吞吐量。相比于Hadoop的MapReduce，我们可以看到Spark提供...

spark-2.4.7-bin-hadoop2.6.tgz

03-17

9. **YARN集成**：与Hadoop2.6的兼容意味着Spark可以运行在YARN之上，利用YARN的资源管理和调度功能。在解压`spark-2.4.7-bin-hadoop2.6.tgz`后，您会得到一个名为`spark-2.4.7-bin-hadoop2.6`的目录，其中包括...

【spark床头书系列】spark-shell 任务提交任务参数选项说明示例源码权威详解

最新发布

wang2leee的博客

11-27

1186

spark-shell 任务提交任务参数选项说明示例源码详解

spark学习-2.4.0-源码分析-3-spark 核心篇-spark submit任务提交

06-28

Spark submit任务提交是指将用户编写的Spark应用程序提交到集群中运行的过程。在Spark中，用户可以通过命令行工具或API方式提交任务。 Spark submit命令的基本语法如下： ``` ./bin/spark-submit \ --class <main...

spark源码分析系列

01-20

个人对spark源码的一些分析，在个人学习和使用spark过程中，结合spark源码和实践进行全方位的分析，希望对大家有所帮助

Spark源码系列（一）spark-submit提交作业过程

01-30

折腾了很久，终于开始学习Spark的源码了，第一篇我打算讲一下Spark作业的提交过程。这个是Spark的App运行图，它通过一个Driver来和集群通信，集群负责作业的分配。今天我要讲的是如何创建这个Driver Program的过程。我们先看一下用SparkSubmit提交的方法吧，下面是从官方上面摘抄的内容。这个是提交到standalone集群的方式，打开spark-submit这文件，我们会发现它最后是调用了org.apache.spark.deploy.SparkSubmit这个类。我们直接进去看就行了，main函数就几行代码

Spark源码深度解读

11-29

Spark源码解读迷你 RDD、Spark Submit、Job、Runtime、Scheduler、Spark Storage、Shuffle、Standlone算法、Spark On yarn。。。

任务提交SparkSubmit源码解析

数据工匠记

04-16

4613

1. 前言反反复复捣鼓了很久，终于开始学习Spark的源码了，果不其然，那真的很有趣。这里我打算一本正经的胡说八道来讲一下Spark作业的提交过程。基础mac系统基础环境如下： JDK 1.8 IDEA 2019.3 源码Spark 2.3.3 Scala 2.11.8 提交脚本 # 事先准备好的Spark任务(源码example LocalPi)基于local模式 b...

spark 源码分析

专注Java（全栈）应用开发，求知若渴，虚心若愚，talk is cheap, show me the code.

09-18

197

2.3 SPARK基本设计思想 2.3.1 模块设计整个Spark主要由以下模块组成： qSpark Core：Spark的核心功能实现，包括：SparkContext的初始化（Driver Application通过SparkContext提交）、部署模式、存储体系、任务提交与执行、计算引擎等。 qSpark SQL：提供SQL处理能力，便于熟悉关系型数据库操...

Spark 源码分析

qq_42192672的博客

03-22

1248

Spark 源码分析基础概念Scala Iterator（迭代器）Scala的Option的类型高级概念Yarn模式运行机制(ing)Master & Worker(ing)作业执行原理(ing)Shuffle详解(ing)数据倾斜(ing)算子mapflatMapfilter案例1:案例2mapPartitions案例1mapPartitionsWithIndexgroupByKeydefaultPartitionerShuffledRDD案例1reduceByKey案例1groupBycogro

Spark源码分析

weixin_43866666的博客

12-07

1407

Spark源码分析 Spark on Yarn client Cluster 本质区别，driver位置不同 1)有哪些不同得进程？ 2)分别有什么作用？ 3)Spark作业执行流程是什么样的跑yarn有 --master yarn CoarseGrainedExecutorBackend 默认executor有两个 CoarseGrainedExecutorBackend SparkSubmit ApplicationMaster 跑Client有 --master client CoarseG

【spark源码】spark-submit和spark-class

03-16

spark-submit和spark-class都是Spark的命令行工具。 spark-submit是用于提交Spark应用程序的工具，它可以将应用程序打包成jar包或者Python文件，并将其提交到Spark集群上运行。spark-submit还可以指定应用程序的...