Spark学习之路（十六）SparkCore的源码解读（二）spark-submit提交脚本

最新推荐文章于 2024-01-03 17:22:41 发布

王知无(import_bigdata)

最新推荐文章于 2024-01-03 17:22:41 发布

阅读量470

点赞数

分类专栏： Spark系统性学习专栏

原创文章禁止转载。否则追究法律后果。

本文链接：https://blog.csdn.net/u013411339/article/details/113797095

版权

Spark系统性学习专栏专栏收录该内容

30 篇文章 8 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

本文深入解析Spark源码，重点关注spark-submit任务提交的流程。从find-spark-home到spark-class，再到关键的SparkSubmit过程，详细阐述了Spark任务提交的每个阶段，包括环境变量设置、配置检查、jar定位及最终的SparkSubmit类执行。

摘要由CSDN通过智能技术生成

《2021年最新版大数据面试题全面开启更新》

欢迎关注github《大数据成神之路》

一、概述
二、源码解读
2.2　find-spark-home
2.3　spark-class
2.4　SparkSubmit

正文

一、概述

上一篇主要是介绍了spark启动的一些脚本，这篇主要分析一下Spark源码中提交任务脚本的处理逻辑，从spark-submit一步步深入进去看看任务提交的整体流程,首先看一下整体的流程概要图：

二、源码解读

2.1　spark-submit

# -z是检查后面变量是否为空（空则真） shell可以在双引号之内引用变量，单引号不可
#这一步作用是检查SPARK_HOME变量是否为空，为空则执行then后面程序
#

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

王知无(import_bigdata)

关注关注

0
点赞
踩
1

收藏

觉得还不错? 一键收藏
打赏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

Spark学习之路（十五）SparkCore的源码解读（一）启动脚本

微信搜：import_bigdata，大数据领域硬核原创作者

02-12

471

spark submit脚本

04-19

472

location=`pwd`'/' class=com.ccd.Main jars_path='libs' jars_file='spark_jar_file.txt' echo `ls -l $location$jars_path |awk 'NR>1 {print "'"$location"'""'"$jars_path"'""/"$9}'` > $jars_file sed -i

参与评论您还未登录，请先登录后发表或查看评论

Spark常用提交脚本

攻城狮Kevin

06-03

628

#!/usr/bin/env bash input="XXXX" output="XXXX" sday="XXXX" id_type="XXXX" tag_origin_short_name="XXXX" name=dataToES_test if [ ! -d "/opt/log/wangxuan/norman/${sday}/${id_type}/${tag_origin_short_name}/sparkESLog" ]; then mkdir -p /opt/log/wangxuan/.

spark上提交Python任务的方法，以及配置submit.sh 脚本参数

最新发布

qq_45622250的博客

01-03

1074

Spark 应用程序的输入输出路径等参数：根据你的具体业务逻辑，可能需要设置输入路径、输出路径以及其他相关参数。参数指定需要添加到 Spark 应用程序的额外 Jar 包路径，多个 Jar 包可以使用逗号分隔。参数指定 Spark 应用程序的名称，方便在 Spark UI 或者日志中进行识别。Spark 应用程序的其他配置参数：根据你的具体需求，可以使用。参数指定 Spark 应用程序的提交模式，可以是。Spark 应用程序的 Jar 包路径：使用。Spark 应用程序的提交模式：使用。

Spark 作业提交流程源码分析

bigdatakenan的博客

10-20

912

因为我们的环境是yarn-cluster环境，YarnClusterApplication继承了SparkApplication，所以上一步启动SparkApplication就会启动YarnClusterApplication，我们接下来看一下它的start方法,该方法中new了一个client对象后并调用它的run方法。这个方法中调用了submitApplication方法，返回一个appId,后面是对appId的相关判断和操作，所以下面我们可以看看submitApplication方法做了那些操作。

抛开spark-submit脚本提交spark程序

拱头的专栏

06-19

1万+

在往yarn中提交spark程序的时候，需要使用到spark-submit脚本，spark-submit脚本会启动SparkSubmit类，再反射启动用户写的spark程序。如果我们能够抛开spark-submit脚本和SparkSubmit类启动spark程序，那么spark程序就能够方便的镶嵌到其他大型程序中，为其他程序提供计算引擎，例如镶嵌到tomcat中，为web程序提供守护程序。为了

Spark 源码阅读（5）——Spark-submit任务提交流程

Tomorrow never comes

03-18

1087

任务提交后执行前的逻辑：client端：1、spark-submit脚本提交任务，会通过反射的方式调用到我们自己提交的类的main方法2、执行我们自己代码中的new SparkContext 2.1、创建actorSystem 2.2、创建TaskSchedulerImpl 任务分发的类 2.3、创建SparkDeploySchedulerBackend 调度任务 2.4、...

Spark 源码阅读 02：从 Spark-Submit 到 Driver 启动

weixin_43851569的博客

08-29

296

Spark 版本：3.0.0 找到入口理解一个项目最好的切入点就是找到一个入口。比如跟 Spark 的交互方式，如何把任务提交到 Spark 集群。通常使用 spark-submit 脚本来提交任务。它在 Spark 源码的 bin 目录下 bin文件夹中在存放了 spark-shell 等其他入口方式。我们来看一下 spark-submit 的具体内容。可以看到是一个shell脚本，加载的类是 org.apache.spark.deploy.SparkSubmit。 $@ 把执行的参数

Spark入门 - 2 Spark安装和集群部署

CMSurprise的博客

07-25

2929

安装Scala版本选择Spark官方对配套的Scala版本有规定，所以要根据自己的实际情况来选择Scala版本。因此首先去Spark官网下载Spark，再根据要求下载对应版本的Scala。在http://spark.apache.org/docs/1.6.2/中有一句提示：Spark runs on Java 7+, Python 2.6+ and R 3.1+. For the Scala API

在pycharm使用pyspark报错：Failed to find Spark jars directory. You need to build Spark before running

qq_41587397的博客

05-03

4318

具体报错：Failed to find Spark jars directory. You need to build Spark before running 解决办法：pycharm创建的项目文件夹路径不能有空格，改掉即可改成没有空格的项目名即可 ...

Spark源码解析之任务提交（spark-submit）篇

学习，我们是认真的

07-12

1万+

今天主要分析一下Spark源码中提交任务脚本的处理逻辑，从spark-submit一步步深入进去看看任务提交的整体流程,首先看一下整体的流程概要图：接下来按照图中结构出发一步步看源码：spark-submit#!/usr/bin/env bash# # Licensed to the Apache Software Foundation (ASF) under one or more # con

spark 一步一步走

wtljiayou的专栏

11-26

1822

spark win7 安装直接下载 spark在选择 package type 的时候请选择包含hadoop的预编译包，不然在cmd执行spark-shell的时候就会出现这样的错误： Failed to find Spark assembly JAR. You need to build Spark before running this program

Spark.2.2源码阅读: SPARK SUBMIT任务提交

worldchinalee的博客

06-26

712

1.编写程序当我们编写了一个程序后。 package com.llcc.sparkSql.text import org.apache.spark.sql.{Row, SQLContext, SparkSession} import org.apache.spark.sql.types.{StringType, StructField, StructType} object Spar...

源代码：spark-shell解读

九师兄

07-04

919

1.spark-shell启动指定master ./bin/spark-shell --master local[4] --jars code.jar 2.错误：System memory 239075328 must be at least 471859200 [root@biluos spark-2.2.0-bin-hadoop2.7]# bin/spark-shell Se...

编译安装spark 1.5.x（Building Spark）

weixin_34007879的博客

05-16

184

原文连接：http://spark.apache.org/docs/1.5.0/building-spark.html · Building with build/mvn · Building a Runnable Distribution · Setting up Maven’s Memory Usage · Specifying the Hadoop Version · Buildi...

【持续更新】Spark Submit命令配置参数详解

weixin_42151880的博客

11-10

6297

spark submit 参数

【Spark】spark-submit作业提交及参数设定

Spark学习之路 （十六）SparkCore的源码解读（二）spark-submit提交脚本

一、概述

二、源码解读

Spark学习之路（十六）SparkCore的源码解读（二）spark-submit提交脚本