Spark运行脚本解析 - start-all.sh

最新推荐文章于 2024-01-15 11:23:15 发布

初级以上

最新推荐文章于 2024-01-15 11:23:15 发布

阅读量5.1k

点赞数 1

分类专栏： Spark 文章标签： spark

本文链接：https://blog.csdn.net/Veechange/article/details/53319325

版权

部署Standalone Cluster模式的Spark，可以通过2种方法来启动Cluster：

1）通过手工的方式，单独在Master节点上启动master实例；然后，再单独在Worker节点上启动worker实例；

2）通过Spark自带的运行脚本来管理启动，只需要运行./sbin/start-all.sh，就可以自动启动master和所有的worker实例。

本文解析的就是start-all.sh这个脚本，代码如下：

#!/usr/bin/env bash

# 启动spark的所有守护进程
# 在执行本脚本的机器上启动1个marster实例
# 在每1个conf/slaves中指定的节点上启动1个worker实例

if [ -z "${SPARK_HOME}" ]; then
  export SPARK_HOME="$(cd "`dirname "$0"`"/..; pwd)"
fi

# 加载Spark相关配置信息
. "${SPARK_HOME}/sbin/spark-config.sh"

#