spark2.0原理源码解析(二) ： spark submit 脚本解析

最新推荐文章于 2022-10-31 17:39:20 发布

WQ同学

最新推荐文章于 2022-10-31 17:39:20 发布

阅读量361

点赞数

分类专栏： spark2.0 spark源码 spark

本文链接：https://blog.csdn.net/u012957549/article/details/88597332

版权

spark 同时被 3 个专栏收录

122 篇文章 15 订阅

订阅专栏

spark2.0

3 篇文章 0 订阅

订阅专栏

spark源码

3 篇文章 0 订阅

订阅专栏

从上一篇文章中我们得知 spark-shell 实际上调用的是 spark-submit 脚本
本篇来看下 spark submit 脚本实现。

if [ -z "${SPARK_HOME}" ]; then
  source "$(dirname "$0")"/find-spark-home
fi

# disable randomized hash for string in Python 3.3+
#主要是为了禁止hash随机化

export PYTHONHASHSEED=0

exec "${SPARK_HOME}"/bin/spark-class org.apache.spark.deploy.SparkSubmit "$@"

东西不多在spark -submit脚本中调用spark-class 脚本。