Spark-standalone配置高可用（HA）|运行流程

最新推荐文章于 2022-01-26 10:20:57 发布

SmallScorpion

最新推荐文章于 2022-01-26 10:20:57 发布

阅读量239

点赞数

分类专栏： Spark模块化学习文章标签： spark 大数据 hadoop zookeeper java

本文链接：https://blog.csdn.net/qq_40180229/article/details/105554624

版权

本文详细介绍了如何配置Spark独立部署模式的高可用（HA），包括停止单元，Zookeeper安装启动，修改spark-env.sh配置，分发配置文件，启动不同节点，并在故障切换时观察Master状态。此外，还探讨了Spark的客户端模式和集群模式的区别，以及如何查看程序执行日志。

摘要由CSDN通过智能技术生成

在这里插入图片描述

停止集群

sbin/stop-all.sh

在这里插入图片描述

Zookeeper正常安装并启动

在这里插入图片描述

修改spark-env.sh文件添加如下配置

注释掉如下内容：
#SPARK_MASTER_HOST=hadoop102
#SPARK_MASTER_PORT=7077

添加上如下内容。配置由Zookeeper管理Master，在Zookeeper节点中自动创建/spark目录，用于管理：
export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER 
-Dspark.deploy.zookeeper.url=hadoop102,hadoop103,hadoop104 
-Dspark.deploy.zookeeper.dir=/spark"