spark学习-29-源代码解析从start-all.sh脚本开始

最新推荐文章于 2022-11-19 22:12:56 发布

九师兄

最新推荐文章于 2022-11-19 22:12:56 发布

阅读量1.3k

点赞数 1

分类专栏：大数据-spark 文章标签： spark start-all 启动脚本

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/77937978

版权

大数据-spark 专栏收录该内容

204 篇文章 480 订阅 ¥49.90 ¥99.00

订阅专栏

本文从Spark的start-all.sh脚本入手，解析Spark集群启动过程。内容涉及start-master.sh、start-slaves.sh以及相关配置文件的作用，帮助理解Spark的启动流程。

摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

1。先总体看一下启动脚本
这里写图片描述

2。start-all.sh

if [ -z "${SPARK_HOME}" ]; then
  export SPARK_HOME="$(cd "`dirname "$0"`"/..; pwd)"
fi

# Load the Spark configuration
. "${SPARK_HOME}/sbin/spark-config.sh"

# Start Master
"${SPARK_HOME}/sbin"/start-master.sh

# Start Workers
"${SPARK_HOME}/sbin"/start-slaves.sh
~

了解本专栏